Intelligent assist андроид что это

Для чего нужен Google Assistant, его включение, настройка и удаление

Продвижение технологии распознавания и синтеза речи вкупе с быстро развивающимся искусственным интеллектом обеспечило создание голосовых помощников и внедрение их в телефоны, уже давно успевшие эволюционировать в смартфоны. Примитивные на первых порах, но быстро обучающиеся ассистенты постепенно стали атрибутами и других умных устройств, и современным пользователем теперь воспринимаются как часть повседневной жизни, а не что-то диковинное. Нужное направление задала, как всегда, Apple, представив в 2011 году в составе операционной системы iOS голосового помощника Siri. Идею быстро подхватили гиганты IT-индустрии, приступив к созданию аналогичных проектов.

Не осталась в стороне и Google, явив миру сервис Google Now (больше не поддерживается), осуществляющий поиск при обращении «Окей, Гугл». Теперь «Корпорация добра» развивает другой проект, воплощающий ИИ под названием Google Assistant, более совершенный, способный обучаться и строить диалоги, не теряя логической цепочки, в отличие от примитивного предшественника, выполняющего простые команды.

Для чего нужен Гугл Ассистент

Представленный компанией Google в 2016 году, Google Assistant является голосовым помощником на базе облачных технологий и искусственного интеллекта, обеспечивающим управление продуктами Гугл. Он применим в качестве инструмента для «общения» с устройством и предустановлен на многих смартфонах и планшетах, работающих на Андроид, ноутбуке Pixelbook, смарт-часах на Android Wear, колонке Google Home и беспроводных наушниках Pixel Buds, а также используется в составе приложения Allo. С недавних пор скачать приложение можно и на iOS.

В 2018 году стартовал Google Ассистент, ориентированный на русскоязычного пользователя. Приложение не только исполняет команды, но и может выстраивать диалог с пользователем, используя алгоритм обработки языка и машинное обучение. Попутно помощник собирает информацию на собственном сервере с целью развития, так что по мере взаимодействия с пользователем диалоги становятся более осмысленными.

Гугл Ассистент умеет прокладывать маршрут, информировать о пробках на дороге, поможет узнать прогноз погоды, новости, курс валют, подсказать ближайшие заведения, а также совершить звонок, преобразовать в SMS или сообщение WhatsApp речь пользователя, устанавливать таймеры, будильники и многое другое. С функцией Voice Match Ассистент сможет узнавать пользователя по голосу, предоставляя персональную информацию. Пользоваться собственным календарём, фонотекой и прочими сервисами могут до шести человек, что очень удобно, если устройство используют несколько членов семьи. Приложение может управлять настройками девайса, а благодаря интеграции с поисковой системой Google позволит получить доступ к любой информации, которая только есть в сети.

Возможности и без того умных смартфонов значительно расширяются при установке полезных программ. Так, голосовой помощник станет отличным инструментом для упрощения выполнения рутинных задач, причём позволяющим экономить драгоценное время.

Как включить Google Ассистент

Обычно на устройствах Android приложение уже предустановлено, при этом иногда голосовой помощник требует активации.

Как включить Гугл Ассистент на смартфоне:

• запускаем приложение Google (находится в папке с софтом Google);
• жмём в правом нижнем углу кнопку «Ещё»;
• выбираем в меню «Настройки», затем из списка – «Google Ассистент»;
• идём во вкладку «Ассистент» и в блоке «Устройства с Ассистентом» выбираем «Телефон»;
• активируем Google Ассистент путём переключения тумблера в активное положение.

Если на вашем устройстве не оказалось встроенного помощника, есть возможность его скачивания и установки вручную из магазина приложений.

Как установить Гугл Ассистент:

1. На Андроид-устройство софт устанавливается путём скачивания его из Play Маркета (доступен, начиная с версии Android0). Установка выполняется стандартно в автоматическом режиме, от пользователя требуется только нажать на кнопку «Установить» на странице приложения и согласиться с условиями. После установки можно сразу открыть программу, нажав соответствующую кнопку;
2. На iOS-устройство, несмотря на то, что софт не встроен в систему, скачать приложение можно со страницы в App Store (доступно с версии iOS 10). По причине отсутствия интеграции, возможности голосовой активации с любого экрана не будет.

Как настроить Google Ассистент

Пользоваться Гугл Ассистентом просто. В случае с Андроид-устройствами вызвать его можно на любом экране с помощью всем известной команды «Окей, Гугл» (на некоторых девайсах может также применяться команда «Эй, Гугл») или путём нажатия и удерживания кнопки главного экрана на смартфоне. Кроме того, помощник запускается по значку микрофона, если на рабочем столе стоит виджет со строкой поиска Google. Для полноценной работы с помощником потребуется настройка.

Функция Voice Match позволяет активировать Ассистента голосом и на заблокированном экране (возможность доступна для Android 8.0 и выше).

Перед тем как перейти к использованию Гугл Ассистента, его нужно настроить под определённые задачи. Для этого выполняем следующие действия:

• идём в «Настройки» устройства, выбираем «Google»;
• переходим в раздел «Сервисы в аккаунте» – «Поиск, Ассистент и голосовое управление» – «Google Ассистент»;
• альтернативный способ попасть в настройки помощника мы рассматривали выше (включение Google Assistant);
• перемещаясь по вкладкам, здесь можно легко задать необходимые параметры, например, внести личную информацию, указать способы передвижения, настроить покупки, напоминания, воспроизведение музыки, фото и видео, уведомления, языки для взаимодействия с софтом, опции Voice Match (распознавание голоса) и Face Match (распознавание лица), управление домашними устройствами, обзор своего дня и т. д.;
• в разделе «Телефон» можно активировать возможность персонализации (использовать Ассистента для отправки SMS, доступа к данным календаря, е-мейл, контактам и прочим приложениям), настроить предпочитаемый способ ввода, активировать или деактивировать функцию «Озвучивание результатов» и произвести иные настройки.

Выполнив настройку, ориентируясь при этом на собственные нужды, вы сможете заменить Гугл Ассистентом множество сервисов и переложить на него большую часть задач, что позволит сэкономить массу времени.

Как отключить Google Assistant на Android

Не всем нравится использовать голосовой помощник. Некоторым пользователям он мешает, активируясь, когда это не нужно, другие же замечают потерю производительности смартфона, третьим просто не нужен навязанный Google сервис. Если потребовалось избавиться от Гугл Ассистента, сделать это можно несколькими способами, применимыми в различных ситуациях.

Как отключить Гугл Ассистент

Отключение помощника выполняется следующим образом:

• открываем приложение Google-аккаунта (запускаем с рабочего стола);
• жмём внизу кнопку «Ещё», выбираем из перечня опций «Настройки», после чего находим в списке «Google Ассистент»;
• на вкладке «Ассистент» в блоке «Устройства с Ассистентом» выбираем раздел «Телефон»;
• отключаем инструмент путём перевода тумблера в неактивное положение.

• переходим через настройки смартфона в раздел Google;
• идём в раздел «Сервисы в аккаунте», затем переходим в «Поиск, Ассистент и голосовое управление» и выбираем «Google Ассистент»;
• на вкладке «Ассистент» листаем вниз и находим пункт «Телефон»;
• отключаем помощника.

Как убрать Гугл Ассистент с экрана телефона

Чтобы назойливый помощник больше не маячил на экране, его можно убрать так же просто, как и любую другую иконку приложения.

Для этого жмём и удерживаем объект до появления значка корзины, после чего, не отпуская, перетаскиваем виджет в корзинку, тем самым убираем его с рабочего стола.

Как убрать Google Ассистент с кнопки «Домой»

Для этого в настройках нужно перейти в управление жестами. Меню отличается в зависимости от версии системы и лаунчера модели девайса, например, на смартфонах Xiaomi потребуется перейти в «Расширенные настройки», затем в раздел «Кнопки и жесты».

Здесь в пункте «Запуск Google Ассистента» следует выставить значение «Нет», что позволит убрать комбинацию нажатий для старта помощника.

Как убрать Google Ассистент из помощников

Назначенный помощником в системе виртуальный друг от Google убирается просто:

• идём в настройки девайса и переходим к разделу приложений;
• здесь в пункте с умолчаниями выбираем «Помощник» и выставляем для него значение «Нет».

Как удалить Гугл Ассистент

На тех девайсах, где голосовой помощник не вшит в систему, а устанавливался как приложение с Google Play, можно удалить его стандартным образом:

• идём в настройки Андроид-устройства;
• переходим к разделу «Приложения»;
• на вкладке «Все» находим Ассистент и переходим на страницу с приложением;
• жмём «Удалить» и подтверждаем деинсталляцию.

Удаление сервиса, встроенного в систему Android штатными средствами не предполагается, хотя и может быть выполнено по аналогии со сносом прочего системного ПО.

Голосовые помощники ещё далеки от совершенства и не всегда могут быть действительно нужны пользователю, причём, что касается российского потребителя, то зарубежные помощники, даже поддерживающие русский язык, пока не могут предложить максимальную адаптацию, хотя и могут быть полезны. Возможность освободить руки, отдавая команды голосом, особенно ценится, когда пользователь за рулём. И хотя реализация искусственного интеллекта в смартфонах не достигла пика, технологии продолжают совершенствоваться и удивлять.

Источник

Искусственный интеллект под Android с открытым API

Только ленивый не знает сегодня о том, что такое голосовой помощник Siri. Когда два года назад этот продукт был показан на презентации нового iPhone 4S, многие посмотрели на развитие IT-индустрии по-новому. Действительно, искусственный интеллект в кармане, понимающий естественную речь, еще не показывал никто.

Многие в то время начали говорить о том, что Apple может уже на следующем WWDC предоставить всем программистам под iOS возможность использовать открытое API ассистента Siri для своих собственных программ. Картина вырисовывалась радужной — любое приложение смогло бы реагировать на пользовательские фразы, исполняя различные команды. Действительно, если в магазине AppStore так много разных полезных приложений, почему бы им не дать возможность управления голосом? Тем более что такой вид коммуникации с пользователем, как речь, быстро стал трендовым после выхода iPhone 4s.

О том, удалось ли это сделать Apple, и что удалось сделать нам, читайте далее.

Время шло, а API у Siri не появлялось

Надо отметить, что большинство путает просто распознавание речи и собственно возможности ассистента как искусственного интеллекта. Между этими двумя понятиями огромная разница — решения по распознаванию речи (speech-to-text) присутствуют на рынке уже давно (к примеру, в ОС Android она доступна всем желающим), а вот создать открытую технологию диалоговой системы (с поддержанием контекста, извлечением смысла и т.д.) не удавалось еще никому. Многие также не задумывались о том количестве проблем, которые возникнут при общем доступе множества программ к единому мозговому центру AI в лице Siri. А также о том числе совершенно новых технологий, с которым программистам пришлось бы иметь дело.

Идея создать голосового ассистента с открытым и доступным для всех API “искусственного интеллекта” уже витала на тот момент в наших головах, и мы решили ее осуществить.

Ассистент на русском

Наша небольшая группа инициативных разработчиков взялась за проект, известный ныне как Ассистент на русском.

Стоит заметить, что создание подобной голосовой платформы предполагает наличие знаний в таких специализированных областях как технологии распознавания (ASR) и синтеза речи (TTS), а также NLP, позволяющего извлекать смысл из пользовательской речи и управлять контекстом диалога. Именно этот компонент является связующим для любой системы искусственного интеллекта и позволяет не просто превратить речь в текст, но и понять, чего хочет пользователь. Это и отличает технологию распознавания речи от технологии искусственного интеллекта.

Нашей целью было сделать доступный инструмент для использования этих технологий.

К моменту запуска приложение умело решать повседневные задачи пользователя с помощью речи. А пользователи Android версии JellyBean могли выполнять голосовые команды без подключения к интернету.

Открытое API искусственного интеллекта

С первого дня каждый сервис “Ассистента на русском” создавался на основе той же платформы, которую мы планировали открывать для всех в будущем. Этот принцип по-английски называется “Eating your own dog food”. Таким образом мы могли параллельно проектировать голосовую архитектуру и функциональность самого ассистента.

Результатом нашей работы стало приложение с открытым API и “гибридной” технологией NLP, которая, с одной стороны, дает возможность программировать голосовой интерфейс без всяких серверов, с использованием только вашего девайса и Android SDK, а с другой стороны, переносить часть решений в облако по необходимости. Например, ваши контакты не отправляются ни на какие серверы (привет, Siri), а список всех городов, с которыми работает, скажем, сервис “Погода”, не хранится на клиенте.

Все сервисы ассистента создавались разными программистами, часть которых не имеют специальных знаний в области ASR, TTS или NLP. При этом особых сложностей в использовании API нашего “Ассистента” не было, так как мы ставили себе задачу сделать открытую, доступную и понятную всем платформу.

“Ассистент на русском” использует возможность межпроцессного взаимодействия (IPC) в ОС Android, так что сам ассистент выступает в роли голосового интерфейса между пользователем и вашим собственным приложением. При этом ваше приложение может отображать свой GUI в интерфейсе ассистента — для этого используются RemoteViews и другие похожие техники.

Что умеет API

За счет API “Ассистента на русском” можно создавать и гораздо более интересные варианты, где функциональность ассистента выходит за пределы устройства, на котором он работает. Например, стороннее приложение “АссистентКоннект”, используя API нашего ассистента, дает возможность управлять голосом различными устройствами “умного” дома и домашним кинотеатром.

При этом “АссистентКоннект” является обычным андроид-приложением, которое умеет отправлять запросы по HTTP-протоколу кинотеатру XBMC и ZWave контроллеру умного дома Vera.

Также можно посмотреть, как с помощью того же аддона можно управлять, например, обычным браузером. Все это демонстрирует возможности API ассистента, позволяющего создавать новый вид коммуникации с пользователями.

Как получить API

Попробовать API в своих собственных проектах можно уже сейчас, скачав его с нашего сайта. Сейчас мы даем только краткое описание того, как можно его использовать. В следующих статьях мы более детально опишем технические подробности реализации всей платформы “Ассистента на русском”, а также расскажем о нюансах использования самого API.

Данная статья — самый первый шаг по публикации API ассистента. В ближайшем будущем многое будет меняться, мы планируем предоставить больше возможностей, в том числе каталог дополнений, с помощью которого пользователь сможет находить в PlayStore все приложения с поддержкой функции голосового управления, а также коммерческое SDK для создания собственных голосовых ассистентов.

Основы

Для внедрения библиотеки с API ассистента в свое приложение вам не понадобится изучать никаких новых языков программирования или технологий. Все, что вам нужно — это Android SDK и IDE для разработки. Мы предлагаем использовать Android Studio. Подключение библиотек осуществляется просто указанием зависимостей в файле build.gradle

API позволяет установить связь между вашим приложением и “Ассистентом на русском” таким образом, что все фразы пользователя, по смыслу подходящие вашему приложению, будут перенаправлены специальному сервису, который вы должны реализовать. Мы называем такие сервисы Агентами.

Агенты и модули

Ассистент заранее извлечет все необходимые данные из текста фразы и предоставит их агенту в виде семантического дерева разбора — Токена. Это происходит благодаря специальным грамматикам (Модулям), которые вам нужно сформировать для вашего сервиса.

Модуль — это набор команд с шаблонами (Паттернами) фраз, на которые должен реагировать ваш агент (синтаксис паттернов детально описан в документации к API). Агент в любой момент может ограничить набор таких модулей, доступных пользователю, тем самым сформировав контекст диалога. Вот пример простейшего модуля:

Модуль — это просто xml-файл, который нужно хранить в ресурсной директории xml вашего приложения. Здесь приведен пример простейшего модуля с двумя командами и очень простыми паттернами.
Как видите, модуль не содержит никакого управляющего кода, так как весь код будет описан в классе вашего агента. Это отражает основной принцип нашего подхода к голосовому API — декларативная часть, описывающая грамматику диалога, отделена от управляющего кода, который реализует логику обработки и полностью независим от языка.

Агент — это, по сути, надстройка над обычными Android-сервисами. Он реализует интерфейс между ассистентом и логикой вашего приложения.

Вот простой пример того, как агент может обработать команды, описанные ранее в модуле. Абстракция AssistantAgent предоставляет множество различных методов для обработки команд, управления контекстом диалога, вызовом сторонних активностей и т.д.

Request содержит всю необходимую информацию о запросе пользователя — идентификатор команды, контент запроса (токен или что-то другое), сессию и т.д. На любой запрос агент должен сформировать ответ — Response, содержащий контент ответа и, при необходимости, инструкции ассистенту о переключении контекста диалога.

Это пример формирования быстрого ответа в одну строку. А вот чуть более сложный пример:

Здесь ответ кроме контента в виде строки (можно передавать и другие виды контента, например GUI) содержит еще и информацию об изменении контекста диалога. Теперь пользователю будут доступны команды только из модуля R.xml.name, и после озвучки ассистентом ответа от агента автоматически включится микрофон — это называется “модальный режим”.

Каждый агент — это сервис, и поэтому его надо описать в манифесте приложения — AndroidManifest.xml

Здесь указывается основной модуль агента и пакет того “Ассистента на русском”, с которым агент может работать.

После сборки вашего приложения и установки на девайс “Ассистент на русском” подхватит информацию из вашего манифеста и загрузит модуль. А затем будет перенаправлять все подходящие запросы от пользователя к вашему агенту, если NLP-движок ассистента посчитает, что фраза подходит лучше всего под паттерны команд модуля.

Продолжение следует

В этом посте мы очень кратко привели основы использования нашего API, описав базовые принципы работы с ним. Конечно, библиотека ассистента предоставляет множество более сложных функций: удаленные и нечеткие паттерны, RemoteViews, динамическое изменение контента ответа, извлечение данных из фраз и многое другое. Все это описано в документации, которую мы будем дополнять по ходу доработок в самой библиотеке.

Мы предлагаем вам попробовать голосовое управление в ваших собственных проектах, вступить в сообщество разработчиков и помочь в улучшении этого инструмента.

Источник