Как айфон распознает предметы

Возможности системы распознавания предметов iOS 11 показаны на видео

Камера iOS 11 может распознавать предметы.

На конференции WWDC 2017 компания Apple сделала доступным разработчикам новый фреймворк Core ML, на основе которого работают «Камера», клавиатура QuickType и Siri. Программист Крис Грининг воспользовался Core ML в паре с фреймворком Vision и продемонстрировал, как приложение «Камера» в iOS 11 может распознавать различные предметы путем наведения на них объектива. Причем делать это с высочайшей скоростью и точностью.

Одной из главных особенностей фреймворка Core ML является возможность использовать в iOS предобученные серверные модели. Их можно задействовать для анализа движения, определения штрих-кодов, отслеживания и распознавания лиц, а также объектов. Последняя функция заинтересовала Грининга больше всего.

Он подключил iPhone к Core ML с помощью фреймворка Vision Kit, в результате чего добился интеграции функции распознавания движения в стандартном приложении iOS 11 «Камера». При наведении объектива камеры iPhone с запущенным приложением «Камера» на различные объекты, происходил процесс их распознавания.

Эксперимент разработчика показал, что iPhone, даже без отправки данных на сервер, сумел распознать большинство предложенных объектов, в списке которых была отвертка, бутылка вина, линейка, чашка и т.д. Единственный прокол у системы распознавания предметов случился при определении iPhone. По невыясненной причине система опознала смартфон как iPod.

В работе системы распознавания лиц особенно впечатляет скорость. Все предметы, пусть они и являлись довольно простыми, были опознаны за считанные секунды. Предполагается, что в ближайшем будущем систему распознавания предметов в iOS введет сама Apple, которая, непременно приведет ее в куда лучшее состояние. Это означает, что у пользователей iPhone появится возможность навести камеру смартфона на любой объект для получения его названия, а также дополнительной информации о нем.

Отметим, что в первых бета-версиях iOS 11 намеков появление системы распознавания объектов в прошивке обнаружено не было.

Источник

Фишки iOS 15: Новая функция поиска по фото

Одной из фишек iOS 15 стала функция под названием «Что на картинке». Она помогает находить на снимках разные объекты. Сейчас у нее есть только один недостаток — работает не у всех.

В этом году компания Apple внедрила в приложение «Фото» новую функцию, которая умеет распознавать разные объекты на снимке. Она получила название «Что на картинке». С помощь этой опции владельцы яблочных мобильных устройств смогут не только определить разные объекты на фото, но и получить о них дополнительную информацию. Интеллектуальные механизмы могут распознать произведения искусства, достопримечательности, природные объекты или животных, расположенных на фото.

Как пользоваться функцией «Что на картинке»

1. Открыть приложение «Фото».
2. Выбрать снимок, на котором четко виден определенный объект. Например, цветок или животное.
3. Нажать на иконку «i» в нижней части экрана. Если она помечена звездочкой, значит функция «Что на картинке» смогла распознать объект.
4. Нажать на значок, который появился в центре снимка.

После этого на экране появится информация об отмеченном объекте. iOS 15 собирает данные из разных источников. Например, с помощью поиска в сети.

Стоит отметить, что функция «Что на картинке» работает только на iPhone с чипами Apple A12 Bionic или новее. То есть для того, чтобы воспользоваться этой опцией, пользователям нужен как минимум iPhone XR.

Также нужно учитывать, что сейчас функция «Что на картинке» работает не у всех. Есть предположение, что она доступна только в некоторых регионах.

Узнать о других фишках iOS 15 можно в нашем обзоре.

Источник

Как искать в интернете по картинке при помощи iPhone или iPad

Отличная все-таки штука этот интернет. В нем можно найти что угодно — от чит-кодов для любимой игры до товара любой степени редкости, который просто так не купить в супермаркете за углом. Но как найти то, чье название вы в сущности не знаете? К примеру, можно выстроить ассоциативный ряд и подобрать похожее слово. А можно воспользоваться изображением искомого предмета, которое может случайно оказаться в памяти вашего смартфона. Ведь с iPhone поиск по картинкам выходит на качественно новый уровень.

Эта статья – продолжение цикла публикаций о замечательном приложении для автоматизации ежедневных процессов «Быстрые команды». С его помощью сделать так, что выполнение рутинных задач, которые отнимают кучу времени, будет производиться практически без вашего участия, проще простого. Для этого достаточно найти в интернете нужную команду или, при наличии должных навыков, написать соответствующий скрипт самому.

Как искать по фотографии в гугле

• Чтобы искать в интернете по изображению прямо с iPhone, установите приложение «Быстрые команды»;
• Загрузите на iPhone команду под названием «Поиск по картинке»;

Откройте «Быстрые команды» и запустите «Поиск по картинке»;

Затем выберите поисковую систему, в которой хотите искать нужный объект и в окне приложения «Фото» выберите фотографию, на которой он запечатлен;

Дождитесь обработки запроса и получите результат.

На самом деле для пользователей десктопных платформ поиск по картинке в Google или «Яндекс» является обычным делом. Однако выполнить ту же операцию со смартфона без вспомогательных инструментов будет значительно сложнее, что в условиях постоянной нехватки времени является не самой приятной и полезной затеей. А благодаря быстрой команде «Поиск по картинке» вы сможете выполнить поиск всего в три нажатия.

Подписывайся на наш канал в Яндекс.Дзен. Зачем? Там узнаешь.

Источник

Благодаря iOS 11 камера iPhone получит возможность распознавать предметы (видео)

В рамках конференции WWDC 2017 компания Apple открыла создателям приложений доступ к новому фреймворку Core ML, на базе которого функционируют приложение «Камера», клавиатура QuickType и интеллектуальный помощник Siri.

Разработчик Крис Гриннинг воспользовался данной возможностью и, применив Core ML в сочетании с фреймворком Vision Kit, показал, что «Камера» способна распознавать с быстротой и точностью различные предметы. Для этого нужно просто направить объектив на какой-либо объект.

В число ключевых «фишек» Core ML входит возможность использования в iOS предобученных серверных моделей, которые можно применять для анализа движения, распознавания штрих-кодов, отслеживания и идентификации лиц и предметов. На последнюю функцию и обратил внимание Гриннинг.

Задействовав фреймворк Vision Kit, разработчик подключил Core ML к смартфону iPhone, что позволило ему дополнить функционал нативного приложения «Камера» в iOS 11 возможностью определения движения. В итоге при наведении объектива камеры на предмет происходило его распознавание.

Смартфон смог распознать большую часть предложенных предметов, в том числе отвертку, бутылку вина, линейку и пр. Правда, не обошлось без казусов — по непонятной причине система идентифицировала iPhone как iPod. Тем не менее, скорость распознавания оказалась впечатляющей. iOS 11 понадобилось всего несколько секунд, чтобы определить все предметы.

По слухам, в скором будущем Apple реализует свою систему распознавания лиц, которая, вне всяких сомнений, будет намного совершеннее. Примечательно, что в первых бета-сборках iOS 11 какие-либо намеки на систему распознавания лиц выявлены не были.

Источник

iPhone «научился» мгновенно распознавать объекты

Ваш смартфон знает разницу между молотком, бутылкой вина и хот-догом? Возможно, пока нет, но с помощью несложно кода он справится с этой задачей. Программист Крис Грининг смог «научить» свой Iphone распознавать вещи, попадающие под прицел камеры, за считанные секунды.

Разработчик подключил камеру своего iPhone к CoreML – открытой платформе машинного обучения Apple, которая работает по технологии Vision Kit и используется для таких приложений, как камера и Siri.

Грининг описал поэтапный процесс создания кода в своем блоге. Чтобы повторить его эксперимент, вам понадобится смартфон с операционной системой iOS11 (которая все еще находится на стадии бета-тестирования) и бета-версия программы xCode от Apple.

На видео можно заметить, что в большинстве случаев приложение правильно распознает предметы: оно узнало линейку, отвертку и бутылку вина. Интересно, что программа распознает iPhone как устройство Apple, но она на 90% уверена, что это iPod. Среди других предлагаемых вариантов: мобильный телефон, модем и динамик.

Пользователи сети отмечают, что для приложения, которое выполняет всю обработку на смартфоне без отправки данных на сервер, это очень хороший результат. Программа Грининга работает с помощью нейронной сети ResNet50, разработанной исследователями Microsoft. Она включает в себя 1000 категорий, среди которых деревья, животные, транспортные средства, продукты питания и люди.

Источник