Войс овер для андроида

Как управлять смартфоном на Android только при помощи голоса

Говорят, что Apple больше других заботится о своих пользователях и делает для них по-настоящему удобные устройства. Разработчики компании продумывают всё настолько педантично, что пользоваться айфоном сможет даже незрячий. Сказывается удобный интерфейс под названием VoiceOver. С его помощью управляться со смартфоном можно при помощи голоса. Но немногие знают, что на Android есть точно такая же система, которая, впрочем, может пригодиться не только людям с нарушениями зрения, но и всем остальным, упростив управление.

Смартфоном можно с удобством управлять голосом, даже не прикасаясь к нему

Представлена Origin OS. Как бы выглядела iOS 14, если бы была оболочкой для Android

В отличие от iOS, где VoiceOver встроен прямо в систему, на Android всё устроено несколько иначе. Для голосового управления смартфоном была разработана специальная программа под названием Voice Access. Она основана на базе Google Ассистента, поэтому проблем с распознаванием быть не должно. Разве что работает она почему-то только с английским языком, а русский не распознаёт ни в каком виде. Правда, исключения тоже бывают, но о них – расскажу далее, потому что хочется обговорить это отдельно, а не подавать скомкано.

Голосовое управление Android

• Скачайте приложение Voice Access себе на смартфон из Google Play;
• Запустите и разрешите доступ к меню универсальных возможностей;

Voice Access требуется довольно много привилегий

• Пройдите небольшую тренировку по управлению голосом и выйдите на рабочий стол;
• Скажите Hey, Google и произнесите команду из тех, которой научились при первоначальной настройке.

Разработчики Google специально спроектировали Voice Access как инструмент полностью голосового управления. Поэтому вы сможете выполнять голосом практически любые манипуляции. Это может быть запуск приложений, пролистывание вниз и вверх, возврат на рабочий стол, управление настройками, набор и отправка сообщений, совершение голосовых звонков, запускать меню с фоновыми приложениями. В общем, вариантов действительно много. Единственное, как вы помните, управление голосом выстраивается только на английском.

Как открывать приложения голосом

Управлять смартфоном при помощи голоса можно только на английском

Исключение, о котором я говорил выше, заключается в том, что запускать приложения и вообще совершать с ними практически любые манипуляции можно на русском или по крайней мере на полу-русском языке. Что я имею в виду: из-за того, что часть приложений называется на английском (WhatsApp, Viber, Telegram), открыть их можно командой «Открой WhatsApp» и т.д. То есть Voice Access выцепляет именно название приложения, игнорируя слово «Открой», которое он не понимает.

Но зато русскоязычные названия приложений алгоритмы понимают без труда. Например, «Настройки» он наотрез отказывается распознавать как Settings, реагируя только в том случае, если вы произнесёте название нужного приложения по-русски. Если у вас и это не получается, обратите внимание на цифры на экране. Они сопровождают все интерактивные элементы интерфейса: приложения, кнопки, скроллер, пункты меню, настроек и т.д. При необходимости выполнить какую-то команду скажите по-английски просто «Tap *номер*». Это действие сымитирует прикосновение к функциональному элементу под нужным вам номером. Вполне удобно.

Как ответить на звонок без рук

Управлять голосом можно даже входящими звонками

Но особенно крутой мне показалась функция управления вызовами при помощи голоса. Она состоит в том, что каждый раз, когда вам будет поступать входящий звонок, Voice Access активируется автоматически. Это удобно тем, что вы сможете управлять звонком так, как вам нужно, не прикасаясь к смартфону. Чтобы активировать эту функцию, нужно открыть шторку уведомлений, а оттуда перейти в настройки Voice Access. Здесь в списке доступных параметров найдите пункт Activate for incoming calls. Дождитесь звонка и проверьте.

Вообще Voice Access – это очень удобная и универсальная штука, особенно, если к ней приноровиться. Например, я, чтобы алгоритмы лучше распознавали мою речь, отключил в Google Ассистенте работу на русском языке, оставив только английский. В результате кое-что стало получаться очень неплохо. Но готовьтесь к тому, что если ваше произношение оставляет желать лучшего, некоторые команды так и не будут восприняты смартфоном. От этого никуда не деться, но удобство от использования, по-моему, всё равно превосходит недостатки.

Источник

Топ самых важных функций Android для слепых – мнение незрячих экспертов

Современный мобильный телефон – незаменимое устройство для большинства людей, независимо от их состояния здоровья. Но для людей с инвалидностью – это не просто удобный гаджет, а средство реабилитации, которое может быть полезнее многих традиционных ТСР.

Вы когда-нибудь задумывались, что даёт вам смартфон? Это не только мгновенные звонки и сообщения в мессенджерах, но и быстрый выход в Интернет, тысячи полезных приложений, фото-, видео- и аудиозапись, а также музыка, фильмы, прогноз погоды и социальные сети.

Современный телефон особенно важен тем, кто имеет сенсорные нарушения, в частности слабовидящим и незрячим. Он позволяет сориентироваться в пространстве, запросить помощь, сделать заказ и многое другое. В каждом смартфоне существует встроенная программа экранного доступа, которая буквально позволяет управлять устройством с помощью голоса , а также передаёт всю текстовую информацию в голосовой форме.

Сегодня мы поговорим об особенностях работы такой программы на смартфонах под управлением операционной системы Android. Как правило, именно Android установлен на наиболее бюджетных и доступных устройствах.

Как включить программу экранного доступа?

На большинстве смартфонах под управлением Android существует несколько способов запустить программу экранного доступа. Каждый из них можно осуществить без использования зрения.

Наиболее распространённый способ – разблокировать телефон и зажать одновременно две кнопки изменения громкости – «плюс» и «минус». Как только устройство издаст характерный звук входящего сообщения – на дисплее появится кнопка «использовать быстрое включение». Она будет находиться примерно на расстоянии двух пальцев от нижнего края экрана и на расстоянии одного пальца от правого края. Нажмите её, а затем ещё раз зажмите обе кнопки изменения громкости и удерживайте их 10 секунд. Это должно запустить программу экранного доступа.

Впрочем, на некоторых смартфонах она запускается гораздо проще. Найдите кнопку «домой», как правило, она находится внизу посередине и может быть, как физической, так и сенсорной. Нажмите её три раза.

Третий способ тоже связан с кнопкой «домой». Если зажать её на 7 секунд, то на некоторых моделях смартфонов откроется Google Ассистент. Скажите ему голосом стандартную фразу: «окей, гугл». А затем попросите включить программу экранного доступа.

В смартфонах, работающих на операционной системе Android, по умолчанию их может быть две – TalkBack (на большинстве устройствах) и VoiceOver (на смартфонах компании Samsung и некоторых других). Соответственно, команда Google Ассистенту будет звучать так: «включи толк бэк». Или так: «включи войс овер».

Есть ещё один способ для телефонов, производства Samsung. На смартфонах этой марки можно зажать кнопку питания на 5 секунд. Обычно эта кнопка расположена на правом или левом торце устройства и служит для включения и выключения дисплея и самого телефона. Через 5 секунд раздастся звук входящего сообщения. После этого приложите два пальца к экрану примерно на 2 см ниже динамика и удерживайте их в таком положении 7 секунд. При этом пальцы должны располагаться друг от друга на некотором расстоянии – оставьте между ними хотя бы 1 см.

Как переозвучить непонятную фразу?

Наверняка многие незрячие и слабовидящие пользователи смартфонов сталкивались с ситуацией, когда программа экранного доступа или другое приложение «бормочет» что-то невнятное и человек не может понять – о чём идёт речь. В таких случаях телефон может переозвучить текст по буквам.

Для этого нужно использовать вертикальные свайпы – так называются короткие движения пальцем по экрану вверх и вниз. Если вы пользуетесь TalkBack со стандартными настройками, то вертикальными свайпами вы сможете выбрать нужный уровень детализации – символы, слова, строки, абзацы. А горизонтальными свайпами – вправо и влево – вы сможете перемещаться по элементам выбранного вами уровня.

Для программы экранного доступа VoiceOver понадобятся только вертикальные свайпы, с помощью которых можно сразу озвучить выбранный текст по буквам.

Как скопировать последнюю фразу в буфер обмена?

Очень часто пользователям смартфоном требуется скопировать последнюю фразу в тексте в буфер обмен, например, чтобы скинуть кому-то указанный в сообщении номер телефона или адрес. При этом цифр и букв в нём может быть так много, что на память лучше не полагаться.

В программе экранного доступа TalkBack есть контекстное меню, в котором предусмотрена функция переноса в буфер обмена необходимой части текста. Чтобы вызвать контекстное меню – положите палец на этот текст и проведите им так, как будто чертите прямоугольник – вниз и вправо. Внимательно изучите открывшееся меню.

Помимо копирования последней фразы текста в буфер обмена, вы также сможете открыть настройки TalkBack, настройки синтеза речи, отключить подсветку экрана, сделав смартфон недоступным для зрячих, а также воспользоваться рядом других полезных опций.

Как улучшить доступность не озвучиваемого приложения?

Любое приложение для смартфона, в котором не предусмотрено озвучивание для незрячих и слабовидящих людей, можно частично озвучить с помощью программы экранного доступа. Для этого необходимо открыть её настройки и активировать пункт «озвучивать идентификаторы элементов управления». После этого некоторые кнопки управления в других приложениях станут озвучиваться.

Как настроить озвучку текста?

Некоторые слабовидящие и незрячие, имеющие остаточное зрение, могут пользоваться смартфоном без программы экранного доступа, но испытывают проблемы при чтении текста с экрана. Для таких пользователей существует функция «озвучивания при нажатии», которая входит в набор специальных возможностей для Android от Google. При активации этой функции, в правом нижнем углу экрана появится мини-плеер, который будет сопровождать пользователя в большинстве приложений.

Если возникнет необходимость что-то прочитать, достаточно нажать на мини-плеер, а затем на выбранный текст. Смартфон тут озвучит его в голосовой форме, после чего мини-плеер скроется и снова превратиться в маленький значок в правом нижнем углу экрана.

На некоторых смартфонах в настройках специальных возможностей может не оказаться функции «озвучивания при нажатии». В таком случае добавить её можно вручную. Откройте Play Маркет и с помощью голоса или текста задайте запрос «специальные возможности». Найдите приложение «Специальные возможности для Android» от Google LLC – оно будет самым первым в списке. Как только вы его установите, в настройках специальных возможностей вашего телефона появится функция «озвучивание при нажатии».

Эта функция доступна только для операционной системы Android версии 6 и более новых.

Как отключить программу экранного доступа?

Если возникнет необходимость перевести смартфон на привычный для зрячего человека режим работы (например, чтобы передать кому-то попользоваться), то программу экранного доступа можно отключить, а затем, когда потребуется, снова включить с помощью простой команды.

Понадобятся две кнопки изменения громкости – «плюс» и «минус». Зажмите их и обе удерживайте в течение 5 секунд – программа экранного доступа отключиться. Включить её можно тем же способом, либо ещё проще – выключить и снова включить дисплей.

Благодарим экспертов Отдела информационных и методических ресурсов Новосибирской областной специальной библиотеки для незрячих и слабовидящих за подробный дайджест по использованию смартфонов.

Подписывайтесь на наш телеграм-канал, чтобы оставаться в курсе актуальных новостей!

Дайджест, на основе которого подготовлен данный материал, можно послушать здесь.

Источник

Voice Control и VoiceOver: как адаптировать приложение для незрячих или неподвижных

Представь, что ты незрячий. Вот так ты услышишь эту картинку: «Буква D в чёрных очках и с белой палочкой и буква O в инвалидной коляске смотрят на большой телефон. На экране телефона скриншот приложения Додо Пиццы, который проговаривает названия ячейки меню из пицц для VoiceOver. Картинка стилизована под старые компьютеры и выполнена в зелёных цветах. Нажать кнопку «Читать дальше».

Адаптация iOS-приложения — большая тема, в одну статью всё не влезло, поэтому выпускаю их серией.

1. Voice Control и VoiceOver: как адаптировать приложение для незрячих или неподвижных.
2. VoiceOver на iOS: каждый контрол ведёт себя по-разному.
3. VoiceOver на iOS: решение типовых проблем.
4. Разница между реализацией VoiceOver, Voice Control и UI тестов. (In progress)

Телефон давно стал продолжением меня, и я слабо представляю свою жизнь без пары десятков приложений, которыми пользуюсь каждый день. Но как быть тем, кто не может взять телефон в руку или посмотреть на экран? Фичи iOS открывают людям с ограничениями в движении, зрении и слухе эти возможности в обычной жизни. С их помощью можно увеличить размер текста и контраст, сделать моно-аудио, убрать анимации. Можно работать с интерфейсом без экрана — на слух (для незрячих) или вообще управлять только голосом (если человек ограничен в движении).

Адаптировать можно любое приложение и даже некоторые игры. Сегодня я расскажу как iOS-разработчикам сделать первые шаги в этом направлении.

Voice Control: управляй голосом

Начиная с iOS 13 телефон можно контролировать голосом. Voice Control упрощает жизнь и даёт новый уровень свободы людям с ограничениями в движении. Посмотрите видео, в нём Apple показывает, как именно это работает:

Ещё более детально об управлении телефоном можно узнать вот в этих видео:

Включив эту функцию, вы сможете отдавать команды телефону. Увы, пока работает только с английским языком. Например, говоришь «tap purchase», — и кнопка купить нажимается. Для управления кнопками с иконками (без названий в виде слов) можно скомандовать «show numbers», и у всех кнопок появятся цифровые подписи. Теперь можно сказать «tap five» и пятая кнопка нажмётся.

Для работы со сложными элементами (карты, графики), можно попросить телефон показать сетку, тогда место на карте можно будет выбирать по номеру ячейки.

Доступных жестов очень много. Полное описание всех вы можете посмотреть в настройках телефона: Settings → Accessibility → Voice Control → Customize Commands.

VoiceOver: управляй жестами

Чтобы вашим приложением могли пользоваться незрячие люди, его нужно адаптировать с помощью VoiceOver. Несколько отличий от обычного использования:

1. Вместо взгляда по экрану скользит палец. Когда палец оказывается на кнопке, телефон говорит её название и наводит на неё фокус в виде чёрной рамки. После этого можно нажать дважды в любом месте, кнопка нажмётся. Ещё можно переключаться между соседними элементами свайпом влево или вправо.
2. Доступны дополнительные жесты: для навигации, для важных действий, для сложных элементов управления, например, слайдеров.
3. Экран можно выключить, ведь он не нужен. Для этого тапните тремя пальцами трижды.

Как сделать ваше приложение доступным

Voice Control и VoiceOver работают на одной технологии, поэтому адаптировав одно, мы получаем поддержку второго.

Для начала нужно побыть пользователем: включить, попробовать поюзать самостоятельно и настроить шорткат (быстрое включение), чтобы легко было проверять новые фичи.

Где включить: включать/отключать можно через Siri или через настройки (Settings → Accessibility → VoiceOver).

Как настроить шорткат: для быстрого доступа включите шорткат на тройное нажатие кнопки «домой» (или «выключить» для X моделей): Settings → Accessibility → Accessibility Shortcut → Поставить галочку рядом с VoiceOver .

Программируем (теория)

Основа доступности — протокол UIAccessibilityElement. Для улучшения работы VoiceOver нужно:

• Подписать кнопки.
• Добавить значения.
• Оставить подсказки.
• Сгруппировать контролы.
• Поправить неправильные надписи.
• Указать тип контрола: кнопка, надпись, ссылка и т.д.

Что-то можно настроить в Interface builder , но часть настроек доступна только в коде.

Названия кнопок — .accessibilityLabel

Каждой кнопке надо дать короткое звучное название. VoiceOver подстрахует, если вы забыли — попытается прочитать текст или название иконки на кнопке, но часто получается так себе.

Что нужно подписывать:

• Кнопки с иконкой, но без текста;
• UISlider ;
• UIStepper ;
• Картинки. Если есть возможность, то лучше подписать, что изображено на картинке. Instagram это умеет.

Значения — .accessibilityValue

Дополнительно к названию можно написать значение. Например, у слайдера будет название «яркость», а значение — «50%». У кнопки «Добавить в корзину» стоит указать количество или итоговую цену, чтобы подытожить действие всего экрана и не купить лишнего.

Подсказки — .accessibilityHint

Если вы хотите дополнительно пояснить действие, то можно записать подсказку в .accessibilityHint . Но сильно полагайтесь на подсказки не стоит: постоянные пояснения надоедают, поэтому некоторые пользователи отключают их через настройки телефона.

Обобщение контролов

По умолчанию проговаривается каждый контрол по отдельности. Это неудобно: зоны нажатий уменьшаются, можно что-то не заметить и т.д. Нужно обобщать. Например, в меню ячейка состоит из картинки, названия, описания и кнопки с ценой. Такая детальность не нужна: маленькую картинку можно скрыть, название и цену прописать в заголовок ячейки, а состав в её значение. Ячейка станет одним целым, а меню превратится в нормальный набор продуктов.

Программируем (демо и практика)

Этих знаний достаточно, чтобы начать улучшать собственную программу. Разберём на примере меню с пиццами.

Неадаптированная версия для незрячего выглядит так:

Несколько очевидных проблем, которые предстоит решить:

• Непонятное значение 24 в правом верхнем углу.
• Пустое место слева и сверху.
• Слишком много элементов.
• Неправильное произношение цены («от двести сорок пять знак рубля» вместо «от двести сорок пять рублей»).

Добавляем значения

24 в правом верхнем углу — это количество додо-рублей.
Так и надо подписать:

Этот код можно разместить в любом месте, где у вас есть актуальное значение для value.

Для кнопки города можно сделать нечто похожее: лейбл — ваш город, значение — Москва. Но можно и не делать, вроде и так понятно. Не переусердствовать — тоже важная задача.

Убираем пустое место сверху

Акции вверху — это горизонтальный UICollectionView . Внутри ячейки есть лейбл, именно его находит VoiceOver .

1. Сделать всю ячейку доступным контролом. По умолчанию все view выступают только контейнерами для других элементов, VoiceOver их игнорирует. Чтобы пометить view , как конечный элемент, нужно поставить ячейке isAccessibilityElement = true . Это можно сделать в методе awakeFromNib() . После этого выделяться начнёт вся ячейка, пустое место больше не мешает.
2. Дать ячейке название. На лейбле больше нельзя сфокусироваться, поэтому нужно вручную указать текст. accessibilityLabel = specialOffer.title

Настроить можно в методе cellForItemAt :

Упрощаем табличную ячейку

У ячейки с продуктом две проблемы: много элементов и неправильное описание цены.

Объединяем контролы

Сейчас у ячейки несколько полей: название, описание, цена и картинка, 4 контрола на ячейку. Если в меню 10 продуктов, то это уже 40 маленьких контролов. Надо обобщить, чтобы было 10 продуктов, так получается ближе к смыслу.

1. Сделать всю ячейку доступным контролом. Это мы уже умеем: ставим ячейке isAccessibilityElement = true
2. В accessibilityLabel записать самое важное: название и цену. Разделим запятой, VoiceOver учитывает пунктуацию.
3. В accessibilityValue указать дополнительную информацию, в нашем случае это состав.
4. Указать, что ячейку можно нажать, т.е. по сути это кнопка. accessibilityTraits = .button

Метод внутри ячейки, подставляет нужные значения:

Группировать можно не только ячейки, но и все связанные смыслом контролы. Например, переключатель количества и цену стоит обрабатывать вместе: изменили количество — сказали новую цену. Тогда вместо четырёх глупых контролов появится один нормальный.

Склоняем «рубли»

Для правильного написания «рублей» мы генерируем правильную строку и ставим её в accessibilityLabel для кнопки.

Навигация жестами

Для навигации есть два вспомогательных жеста: скрабл и меджик тап.

Скрабл возвращает на предыдущий экран. Чтобы его выполнить, проведите по экрану двумя пальцами, будто пишите букву Z. Ещё скраблом можно заканчивать ввод текста.

Меджик тап вызывает главную функцию текущего экрана. Нужно тапнуть дважды двумя пальцами. Можно включить песню в плеере или ответить на звонок.

У меджик тапа есть UX-проблема — неочевидно, что он делает. Для себя мы решили так: если скрабл переходит на экран назад, то пусть меджик тап переводит на следующий экран по сценарию. На карточке пиццы это добавит её в корзину, если вы были в корзине, то перейдёте на экран доставки, а с доставки переключитесь на оплату.

Но если действие неочевидно, то можно рассказать о меджик тапе в подсказке у кнопки. Но помните: подсказки могут не проговариваться, зависит от настроек.

Адаптируем навигацию

Если нажать на акцию или кнопку додо-рублей, откроется модальный экран. Если бы мы использовали UINavigationController , то ничего делать было бы не нужно. Но для модальных экранов нужно описать, как они реагируют на дополнительные жесты.

Добавляем скрабл

После того, как пользователь нарисует Z, вызовется метод accessibilityPerformEscape у firstResponder . Обычно, это текущий UIViewController .

Вам достаточно реализовать этот метод, закрыть в нём экран и вернуть true, показав, что жест обработан и можно не проходить responder chain дальше:

Похожим образом можно реагировать на меджик тап. Например, применить акцию из карточки:

Как находить проблемы

Проблемы адаптации находить несложно, стоит только включить VoiceOver , как на вас посыпятся десятки. Но спустя время находить новые проблемы станет сложнее, при этом легко пропустить что-то важное, ведь проблемы приходится находить на слух. Есть пара способов упростить жизнь разработчику.

1. Включить субтитры. В iOS 13 появилась настройка, которая включает «субтитры»: Settings → Accessibility → VoiceOver → Caption Panel.
2. Смотреть подписи через Voice Control. При тестировании VoiceOver можно включить Voice Control, тогда все надписи будут видны сразу. Если где-то цифра, то вы забыли прописать .accessibilityLabel .
3. Accessibility Inspector. Accessibility Inspector даёт возможность посмотреть все accessibility свойства в симуляторе. Ещё он может сделать аудит текущего экрана, так вы узнаете о возможных проблемах: малые области нажатия, неконтрастные элементы, неподписанные кнопки. Если нужно, то может прочитать голосом все элементы.

Пока на этом всё

Мы адаптировали один экран. Программировать нужно совсем немного, поддерживать доступность на базовом уровне легко.

Но за кадром осталось многое: разные accessibilityTraits , набор текста, навигация в приложении, custom actions , порядок фокусировки, accessibility notifications , ротор и клавиатуру Брайля. Об этом в следующий раз.

Если уже сейчас хотите узнать больше, то можно почитать:

Чтобы не пропустить следующую статью, подписывайтесь на канал Dodo Pizza Mobile.

Источник