- Как мы разработали технологию обнаружения устройств поблизости
- Взаимодействие между устройствами поблизости
- Окружающий шум
- Еще один способ….
- Геолокация
- Bluetooth, BLE и Wi-Fi
- Обмен информацией через звук
- Вместо заключения
- Как настроить устройства поблизости на телефоне Android — очень просто
- Какая конфигурация у ближайших устройств?
- Совместимость оборудования
- Настройки устройства рядом
- Прочие конфигурации
- Надежные места
- Пока вы несете это
- Уверенное лицо
- Голосовая команда
Как мы разработали технологию обнаружения устройств поблизости
Эта история началась с функции “Рядом” в одном из наших мобильных приложений. Мы хотели, чтобы пользователи могли быстро создать групповой чат или добавить находящихся рядом пользователей в друзья. Мы попробовали решить эту задачу при помощи геолокации, Bluetooth, Wi-Fi и ультразвука, но у каждого из способов мы обнаружили критичные в нашем случае недостатки.
В итоге мы придумали новый способ. Он основан на поиске совпадения окружающего шума: если устройства слышат одно и то же, то, скорее всего, они находятся рядом.
В статье мы расскажем о принципе его работы, а также рассмотрим достоинства и недостатки других распространенных способов обнаружения устройств.
Взаимодействие между устройствами поблизости
Люди, находясь рядом друг с другом, часто хотят обменяться файлами, добавить нового знакомого в друзья, сыграть вместе в игру, перевести деньги, поделить счет или выполнить другие совместные действия. Такие приложения станут удобнее, если позволят пользователю легко взаимодействовать с окружающими людьми или устройствами.
Например, Петров только что познакомился с Ивановым и они пытаются “подружиться” на Facebook. Спустя несколько безуспешных попыток найти друг-друга, они, скорее всего, закроют Facebook, обменяются номерами телефонов и будут общаться через WhatsApp.
Кстати, Вконтакте предусмотрели это: в их мобильном приложении для iOS и Android есть функция “Люди Рядом”, которая позволяет найти других пользователей при помощи геолокации. О минусах этого способа я расскажу чуть позже.
Поиск нового знакомого в FB | Поиск нового знакомого в Vk |
Чтобы функция действительно была удобна пользователю, она должна работать:
- На любом смартфоне
- Всегда и везде. На улице, в транспорте, в офисе и т.д.
- Кроссплатформенно. Как минимум на iOS и Android, а лучше, и в браузере
- Точно. Определять устройства, которые действительно рядом
- Быстро. Устройство должно быть найдено менее, чем за 10 секунд
- Просто. Без дополнительных действий со стороны пользователя
Окружающий шум
Где бы вы не находились (в офисе, транспорте, кафе, на улице, встрече или концерте) — везде есть окружающий шум: голоса людей, музыка, работа двигателя, шум колес, стук клавиш и так далее.
Короткий сэмпл естественного окружающего шума вместе с точным временем его записи, в большинстве случаев, уникален для любого места на Земле. Совпадение окружающего шума и времени означает, что записывающие устройства находятся рядом. Именно на этом основан принцип работы технологии.
Схема работы
Каждое устройство в реальном времени захватывает звук с микрофона и преобразовывает его в специальный отпечаток при помощи перцептивной хэш-функции. Особенность перцептивных хэш-функций в том, что небольшие отличия в исходных данных выражены небольшими отличиями в результирующем хэше.
Отпечаток звука с точной меткой времени отправляется на сервер. Сравнивая его с отпечатками других устройств, сделанных в тот же момент времени, сервер может определить, насколько похожи исходные звуки. Если показатель схожести выше определенного порога — устройства получают идентификаторы друг-друга для последующего взаимодействия.
Пример и сравнение отпечатков с двух разных устройств
Нужно было убедиться, что данный принцип работает и способен находить совпадения в звуке, записанном разными устройствами на расстоянии нескольких метров, а также, что заведомо разный звук не совпадает. Мы вручную собрали сотни часов звука, записанного одновременно на несколько устройств во множестве различных мест.
Используя эти данные, мы перебрали множество алгоритмов генерации и параметров сравнения отпечатков для достижения наилучшего результата. В итоге добились того, что 6-секундный отпечаток позволяет обнаружить устройство на расстоянии до 5 метров в 96% случаев, а ложноположительный результат возможен в 0.0039% случаев.
Мы разработали библиотеки для iOS и Android, которые скрывают от приложения всю реализацию через простой API и встроили их в свои приложения.
Недостаток данного подхода в том, что он не работает в абсолютной тишине. Тишина очень похожа на любую другую тишину и алгоритм намеренно игнорирует ее, чтобы исключить ложные срабатывания. Стоит отметить, что абсолютная тишина встречается в реальных условиях крайне редко. Достаточно стука клавиш клавиатуры или звука шагов, чтобы устройства обнаружили друг-друга.
Иногда это выглядит забавно: пользователи молча ждут обнаружения секунд 10, после чего один из них говорит что-то вроде “Это не работает!”. Эта фраза работает как заклинание и через секунду устройства обнаруживают друг-друга.
Одно преимуществ данного подхода — кроссплатформенность. JS-версия библиотеки, работает в Chrome, Safari, Firefox, Edge, в том числе, в их мобильных версиях.
Еще один способ….
В нашем приложении функция “Рядом” является одной из ключевых. Мы попробовали применить различные существующие способы для ее реализации, но столкнулись с критичными для нас ограничениями и проблемами.
Давайте подробно рассмотрим альтернативные способы.
Геолокация
Это наиболее очевидный способ решить задачу. В момент, когда пользователь открывает раздел “Рядом”, мы получаем его текущее местоположение и выполняем поиск ближайших пользователей на сервере.
Если представить местоположение как центр окружности, а погрешность координат в виде радиуса, то 2 пользователя могут быть изображены следующим образом:
Если расстояние между устройствами (d) меньше суммы погрешностей (r1 + r2), значит есть вероятность (P), что пользователи находятся рядом.
Радиус поиска должен быть не меньше погрешности координат. Как оказалось, реальные координаты смартфона могут находиться и за пределами погрешности, например, в Android это происходит в 32% случаев. Значит, даже находясь рядом, пользователи все равно могут не “увидеть” друг-друга.
Координаты, полученные при помощи GPS и ГЛОНАСС точны, но этот способ зачастую не работает внутри помещений, кроме того, может потребоваться до минуты на поиск спутников. При этом, модуль GPS/ГЛОНАСС присутствует не во всех устройствах (Привет, iPad Wi-Fi!) или может быть отключён на уровне ОС (Привет, Android!).
На самом деле, даже вне здания, на улице с плотной застройкой GPS/ГЛОНАСС часто ошибается из-за отражения сигнала от зданий и может выдавать точность ниже 100 метров:
Поэтому в большинстве случаев приходится использовать координаты, полученные при помощи триангуляции по сигналу окружающих Wi-Fi сетей и сотовых вышек, этот способ работает быстро и энергоэффективно, но точность на порядок ниже: 100 — 1500 метров. На практике, устройство нередко определяет неверное местоположение в городе, а иногда может “телепортироваться” в другой город.
Мы реализовали этот способ и протестировали его в Москве, примерно в 15% случаев устройства не находят друг-друга из-за неверных координат. Особенно часто ошибки происходят внутри высоток Москва-Сити, в метро и наземном транспорте. Также из-за низкой точности часто будут попадаться “лишние” пользователи (не находящиеся рядом).
+ простой в реализации способ
− низкая точность
− плохо работает в транспорте (в движении)
Команда Bump придумала оригинальный способ увеличить точность поиска по геолокации. Пользователям нужно стукнуться своими смартфонами, при этом, акселерометр фиксирует точное время соприкосновения и отправляет его вместе с координатами на сервер, алгоритм ищет пару только среди устройств с одинаковым временем соприкосновения. Эта простая идея на порядки уменьшает вероятность ложноположительного результата, что дает возможность значительно увеличить радиус поиска.
Но в 2013 их поглотил Google, а уже в 2014 проект закрыли, несмотря на то, что Bump SDK был встроен во множество сторонних приложений, а приложение Bump для обмена файлами получило сотни миллионов скачиваний. Дальнейшая судьба технологии неизвестна.
Главный недостаток технологии заключается в том, что за один ”Бамп” связывается только пара устройств. Чтобы объединить группу пользователей, потребуется сделать множество “Бампов”.
+ высокая точность
− необходимо сталкивать друг о друга устройства
− попарное обнаружение устройств
− проект закрыт
Bluetooth, BLE и Wi-Fi
iOS и Android категорически не дружат по Bluetooth. Передача данных между этими платформами — нетривиальная задача: Apple позволяет приложению подключиться только к сертифицированным (Made For iPhone) Bluetooth-устройствам.
Чтобы устройства могли обнаружить друг-друга, используется следующий способ: iOS имитирует какую-либо Bluetooth Low Energy-периферию, устанавливая свой токен в качестве имени BLE-устройства. Android временно меняет Bluetooth-имя смартфона на свой токен и включает режим обнаружения. Теперь, чтобы обнаружить устройства вокруг, Android сканирует Bluetooth для обнаружения Android и BLE для обнаружения iOS-устройств. iOS сканирует только BLE для обнаружения iOS, т.к. сканирование Bluetooth-устройств невозможно с помощью публичного API. Для того, чтобы обнаружить Android, iOS через облако получает идентификаторы окружающих Android-устройств, которые обнаружили его BLE-токен.
Окружающие Wi-Fi-сети в некоторых случаях помогают обнаружить, что устройства рядом: iOS-приложение может получить BSSID Wi-Fi точки доступа, к которой в данный момент подключен пользователь, а Android BSSID всех видимых точек. Если найдено совпадение, значит, пользователи рядом.
Грамотно реализовать этот способ самостоятельно не так уж просто, в том числе из-за множества особенностей BLE-стека разных версий Android и iOS. Существуют библиотеки, которые скрывают сложную реализацию “под капот”.
Мы попробовали Google Nearby. Обнаружение пары iOS — Android происходит медленно, в среднем поиск занимает 20 секунд, а в некоторых случаях длится до 40 секунд, это оказалось главным останавливающим фактором.
Другой нюанс заключается в том, что Bluetooth выключен на большинстве смартфонов, поэтому пользователям iOS каждый раз при использовании функции нужно будет правильно ответить на вопрос “Разрешить приложению использовать Bluetooth?”.
Также, стоит помнить, что использование Bluetooth (на Android) сильно влияет на потребление заряда. Google предупреждает, что Google Nearby увеличивает потребление энергии в 2.5 — 3.5 раза.
+ proof of proximity (гарантия того, что устройства находятся рядом)
− медленное обнаружение
− высокое потребление энергии
Обмен информацией через звук
У всех смартфонов есть динамик и микрофон. Можно закодировать какой-либо идентификатор в звук на одном устройстве, воспроизвести его при помощи динамика, декодировать на устройствах в радиусе слышимости и таким образом объединить устройства в группу.
Пример спектрограммы сигнала Chirp.io
В слышимом диапазоне сигнал смешивается с голосом, музыкой и окружающим шумом, чтобы увеличить вероятность корректного декодирования приходится воспроизводить звук с максимальной громкостью. Чаще всего используется FSK и PSK-модуляция, генерирующая похожий на свист или шум (в зависимости от плотности данных) звук, что раздражает многих людей (пример звука). Этот способ реализован в проекте Chirp.io.
− плохо работает в шумных местах
− раздражает окружающих
Можно использовать диапазон 18-20 кГЦ, он обычно не зашумлен, а большинство взрослых людей не услышат раздражающий звук. К сожалению, некоторые смартфоны тоже воспринимают его плохо, становится актуальна проблема отражения и интерференции, дальность устойчивой связи уменьшается до 0.5 — 3 метров. Этот способ реализован в Google Nearby и Chirp.io, но включается отдельно.
− работает на слишком малых расстояниях
Вместо заключения
Мы тестируем технологию в собственном приложении уже более 2-х лет. За это время мы убедились в ее работоспособности и удобстве в “боевых” условиях. В очень скором времени мы хотим дать возможность любому разработчику быстро встроить и использовать ее в своем приложении.
Надеюсь, статья оказалась познавательной и полезной. Если тема окажется интересной, в следующих статьях я планирую более подробно рассказать об алгоритмах создания и сравнения “отпечатков” окружающего звука, а также о трудностях, с которыми нам пришлось столкнуться.
С удовольствием отвечу на ваши вопросы в комментариях!
Источник
Как настроить устройства поблизости на телефоне Android — очень просто
Встроенные в мобильные телефоны инструменты для удаленного подключения к другим устройствам становятся все более интересными. Эти устройства могут быть дополнительными аксессуарами, а также устройствами, адаптированными к передача информации или удаленное управление вашим Android устройством .
Это не тот инструмент, с которым знакомы многие люди, поэтому на этот раз вы сможете получить больше знаний о как настроить близлежащие устройства .
Какая конфигурация у ближайших устройств?
Это способ подключить ваш телефон или планшет Android к любому другому устройству с помощью удаленных функций, например Блютуз.
С помощью этой опции и других устройств вы сможете иметь информацию, содержащуюся в вашем телефоне Android , передается на второе устройство, которым вполне может быть другой телефон или планшет.
Села также происходит в обратном порядке : подключив планшет к ближайшему устройству (телефону), первый элемент может передать всю информацию, содержащуюся на второй, удаленно.
Совместимость оборудования
Важно отметить, что этот тип файла или передачи информации возможен через устройства Android с версией 6.0 или выше из Marshmallow .
Точно так же рекомендуется, чтобы оба компьютера имели высокий процент заряда, поскольку передача данных может иметь огромное влияние на аккумулятор обоих устройств.
Настройки устройства рядом
Первое, что нужно сделать, чтобы ваш телефон Android подключился к доверенному устройству для удаленная передача данных — это лжец . Это можно сделать с помощью инструмента Bluetooth, активация которого является первым шагом.
- Активируйте функцию «Bluetooth» и выполните сопряжение второго устройства со своим телефоном Android.
- Если вы впервые подключаете это устройство к телефону Android, скорее всего, появится окно, в котором вы можете авторизовать указанный элемент как доверенное устройство, к которому вы получите доступ.
- Аналогичным образом, если вы уже связали устройство с телефоном Android, вы сможете войти только в панель «Настройки» и в разделе «Безопасность» найти раздел «Smart Lock», который позволит вам выбрать дополнительное оборудование. как доверенное устройство.
Таким образом, пока два устройства поддерживают активную общую функцию (Bluetooth или технология NFC), ваш телефон Android останется разблокированным и передача данных начнется автоматически и удаленно , без необходимости выполнять какие-либо ручные процедуры.
Прочие конфигурации
Это не единственный способ настроить телефон Android на доверенное устройство. Если вы перейдете в раздел «Smart Lock» своего телефона, вы обнаружите, что помимо привязки доверенных устройств вы также можете добавлять местоположения, чтобы держать разблокированным .
Некоторые телефоны также включают в эту функцию возможность распознавание лиц и голосовые команды .
Надежные места
Ваш дом, офис или любое другое место, где, как вы знаете, ваш телефон Android безопасен, можно связать с ним, чтобы что он остается разблокированным, пока вы находитесь в этом месте . Для этого в устройстве будут использоваться инструменты Google Maps .
Пока вы несете это
Еще одна опция, которую вы можете найти в Smart Lock, — это возможность держи телефон разблокированным пока носишь его с собой. После однократной разблокировки устройство будет оставаться разблокированным до тех пор, пока не будет помещено на поверхность, где оно автоматически заблокируется.
Уверенное лицо
Хотя это считается менее надежной мерой безопасности, поскольку кто-то с характеристиками, подобными вашим, может Garder мобильный телефон разблокирована .
В этой функции, если вы используете устройство под углом, в котором ваша передняя камера может определить твое лицо , он останется разблокированным. Если уменьшить масштаб или не распознать проанализированные вами черты, он застрянет.
Голосовая команда
Наконец, еще один очень интересный вариант Smat Lock основан на разблокировка с помощью голоса . Для этого вы воспользуетесь знаменитым «Окей, Google».
Источник