Камера truedepth iphone какие возможности

Шикарная функция iPhone X, которую никто не заметил

iPhone X продолжает удивлять!

Одной из ключевых особенностей iPhone X стала система камер TrueDepth, которая легла в основу функция распознавания лиц Face ID. С помощью Face ID владельцы iPhone X смогут снимать блокировку со смартфона и оплачивать покупки просто посмотрев на экран устройства. Про Face ID все, разумеется, слышали, а вот про целый набор новых функций «Распознавание внимания» знают далеко не все. Рассказали подробнее об этих новых возможностях iPhone X.

Что такое «Распознавание внимания»

«Распознавание внимания» — новая функция iPhone X, которая позволяет системе камер TrueDepth в пассивном режиме отслеживать взгляд пользователя. Она может работать даже при условии, что владелец iPhone X не зарегистрировал свое лицо в Face ID и не вовсе не пользуется сканером для разблокировки устройства или оплаты покупок.

Какие возможности у «Распознавания внимания»

Камера TrueDepth может в автоматическом режиме изменять параметры iPhone X или некоторых стандартных приложений в зависимости от фокусировки внимания пользователя. Приведем несколько примеров работы функции «Распознавание внимания»:

• Если вы не смотрите на дисплей iPhone X, он автоматически затемняется. Как только же вы вновь перевели свой взгляд на экран, активируется прежняя яркость.
• Если вы смотрите на экран iPhone X, и в это время вам приходит уведомление или входящий звонок, звук оповещения будет уменьшен. Также звук уменьшается и при условии, что до поступления звонка или оповещения вы не смотрели на дисплей и только-только перевели свой взгляд на экран iPhone X.
• При работе с браузером Safari экран iPhone X будет полностью гаснуть, если вы не смотрите на дисплей и включаться после того, как вы снова перевели взгляд на смартфон.

Благодаря набору функций «Распознавание внимания» у пользователей iPhone X появится возможность не только сделать свой опыт работы со смартфоном более приятным, но и продлить время автономной работы устройства. iPhone X мгновенно реагирует на изменение положения вашего взгляда, поэтому пользоваться уникальными функциями действительно просто и удобно.

Как включить «Распознавание внимания»

Для активации набора функций «Распознавание внимания» перейдите в меню «Настройки» → «Основные» → «Универсальный доступ» и включите параметр «Распознавание внимания».

iPhone X поступит в продажу 3 ноября и только тогда точно выяснится активен ли набор функций «Распознавание внимания» по умолчанию. На текущий момент предполагается, что опция включена на iPhone X в его изначальном состоянии.

Источник

TrueDepth в iPhone X — что это, принцип работы

Что такое TrueDepth в iPhone X?

Система камер TrueDepth — одна из ключевых особенностей флагмана Apple iPhone X. Что включает в себя TrueDepth и каким образом эта уникальная система работает? Рассказали подробнее о TrueDepth в iPhone X.

Что такое TrueDepth

TrueDepth — это инновационная система камер iPhone X, включающая в себя 7-мегапиксельную фронтальную камеру, инфракрасную камеру, проектор точек и инфракрасный излучатель. Что делает каждый из компонентов TrueDepth?

Проектор точек проецирует на лицо пользователя более 30 000 невидимых точек для создания его карты. В дальнейшем эта сверхточная карта используется для аутентификации владельца iPhone X.

Инфракрасная камера выполняет считывание точечной структуры лица пользователя и создает на основе полученных данных изображение в инфракрасном спектре, которое отправляется в специальный модуль Secure Enclave, встроенный в процессор A11 Bionic. В модуле Secure Enclave происходит сравнение лица пользователя с ранее сохраненной картой.

Важно отметить, что сравнение выполняется особенным образом. Фрагмент нейронного ядра микропроцессора A11 Bionic преобразует инфракрасное изображение и карту глубины в математическое представление, которое сравнивается с зарегистрированными данными лица.

Инфракрасный излучатель отвечает за возможность распознавания лица владельца iPhone X в любых условиях, даже в темноте. Излучатель направляет на лицо пользователя пучок инфракрасного света, так же невидимого.

Система камер TrueDepth и передовые технологии Apple легли в основу сканера лиц Face ID. Благодаря Face ID владельцы iPhone X могут снимать блокировку со смартфона, а также оплачивать покупки в цифровых магазинах и через Apple Pay одним лишь взглядом.

Источник

Apple и будущее фотографии: iPhone X

Когда десять лет назад был выпущен самый первый iPhone в нем были применены простейшие технологии для фотографии и видео. С тех пор Apple стремительно развивала свои возможности в области мобильной фотографии и достигла такой степени, что iPhone теперь известен во всем мире своими анимированными изображениями и используется для съемки полнометражных фильмов для релизов в кинематографии. Теперь iOS 11 обеспечивает новый уровень захвата изображения с помощью технологии Depth. Давайте немного разберемся в возможностях будущего фотографий, сосредоточив внимание на новых функциях в предстоящем появлении iPhone X.

Предыдущие разработки, связанные со съемкой на основе глубины, были ориентированы на функцию Portrait в iPhone 7 Plus, а вот Portrait Lighting уже отличается новыми возможностями для iPhone 8 Plus (как и для предстоящего iPhone X). В данном режиме предусмотрено расширение чувствительности TrueDepth, характерное для iPhone X, а также новые функции совмещения камеры и машинного обучения, общие для устройств IOS 11.

iPhone X: глубина селфи с использованием датчиков TrueDepth

На WWDC 2017 этим летом Apple представила новый API (набор методов разработки) глубины iOS 11 для использования дифференциальных данных, снятых двумя задними камерами iPhone 7 Plus. Так же Apple занимается альтернативной технологией, которая призвана обеспечить еще более точные карты глубины снимков, чем могут дать сегодняшние двойные камеры iPhone 7 Plus.

Сегодня мы отдаленно можем представить масштабы проделанной работы, которой компания занималась с датчиками 3D-структуры с момента приобретения PrimeSense в 2013 году за 345 миллионов долларов. Это делает очевидным, что Apple создала свой API глубины для изучения множества сложных возможностей обработки изображений. Так, Apple использовала среди преимуществ камеры не только апертуру, необходимую для электронного облучения цифровой пленки, но и занималась развитием машинного зрения.

Тем не менее одной из первых областей применения нового датчика TrueDepth является режим «Портретного освещения», который теперь будет использоваться в кадрах «selfie» на фронтальной камере. Это эффективно позволяет миллионам пользователей iPhone 7 Plus и 8 Plus работать с расширенными функциями съемки, с которыми они уже знакомы на примере использования задней двухэлементной фотокамеры.

В то время как задняя двойная камера вычисляет карту глубины с использованием дифференциальной математики в разных точках двух изображений, сделанных двумя камерами, массив датчиков TrueDepth использует узор отраженного невидимого света, предоставляя более подробную карту глубины для сравнения с полученным цветным изображением с помощью камеры.

iPhone X: Animoji с использованием TrueDepth

Apple взяла за основу набор знаковых эмоций и превратила их в 3D-маски, которые теперь каждый может «носить» с собой, чтобы визуально общаться в iMessage.

Источник

Apple и ее будущее в мире мобильной фотографии. Часть вторая

В предыдущей статье мы пробежались по технологии глубинного сканирования сцены, портретным функциям модели iPhone 7 Plus, а также портретному освещению, присущему камере iPhone 8 Plus и грядущего iPhone X. В этой части мы бросим взгляд на более эксклюзивную технологию TrueDepth, которая будет реализована только в iPhone X, а также на другие особенности, в том числе технологию машинного обучения, которая будет применяться на всех устройствах, использующих операционную систему iOS 11.

TrueDepth выводит селфи на новый уровень

На проходившей этим летом WWDC’17 Apple представила новый пакет инструментов разработчика Depth API под iOS 11 для использования и обработки различных слоев данных изображения, полученного с помощью двойной камеры iPhone 7 Plus. Компания также намекнула на разработку альтернативной технологии, которая сможет еще более точно создавать глубинную карту изображений, по сравнению с тем, что предлагает двойная камера iPhone 7 Plus.

Анимодзи и TrueDepth

У Android просто нет возможностей быстро внедрить те функции, которые может внедрить и уже внедрила Apple. Слишком много особенностей как в аппаратной, так и программной среде и слишком много производителей, создающих эти особенности. Даже производящиеся по спецификации Google смартфоны Pixel отстают в этом плане от Apple на несколько порядков.

В том же последнем Pixel 2 постарались «скопировать» портретный режим, представленный Apple еще в прошлом году, и Live Photos, которым уже года два. Разумеется, ни о каком аналоге того же портретного освещения здесь речи не идет, не говоря уже об анимодзи или том же реальном просчете глубины сцены на изображении, которые необходимы для поддержки данных функций.

TrueDepth и Face ID

Благодаря TrueDepth Apple решила ввести новую функцию аутентификации Face ID, сделав ее альтернативой Touch ID. Что интересно, критики и скептики уже принялись жаловаться на «кривую» работу Face ID, еще, собственно, даже ее не опробовав. Однако правда такова, что новая система предлагает еще более надежный способ оценки биометрических данных пользователя, по сравнению с крошечным сенсором Touch ID.

Face ID не просто «использует ваше лицо для авторизации». Система гораздо сложнее, чем может показаться на первый взгляд. Вы по-прежнему можете использовать обычный пароль безопасности для входа в систему и изменять его при желании. Но злоумышленники вряд ли смогут раздобыть трехмерное изображение вашего лица для авторизации. На демонстрационном стенде iPhone X попытка разблокировать телефон даже зарегистрированным пользователем не удалась ввиду того, что в кадре, помимо прочего, находилось лицо стороннего человека.

«Здесь важен аспект дистанции. Разблокировать телефон, когда его держит кто-то еще, практически невозможно», — прокомментировал человек, демонстрирующий устройство и в ту же секунду без труда его разблокировавший на обычном расстоянии согнутой руки. А как отмечают журналисты западного AppleInsider, процесс разблокировки с помощью Face ID пришлось даже снимать в слоу-мо, так как система работает настолько быстро, что руках авторизованного пользователя она сработала фактически мгновенно.

Система биометрической идентификации может быть отключена во всей системе iOS. Но важно отметить, что, несмотря на изначальные возгласы аналитиков и экспертов о том, что введенная еще со времен iPhone 5s биометрическая система идентификации повысит уровень уязвимости личных данных пользователей, статистика показала скорее серьезный спад в кражах устройств, использующих такие системы, но в то же время повысила внимание и озабоченность правоохранительных служб, которым теперь получить доступ к личным данным интересующих их лиц стало гораздо сложнее из-за повышения эффективности защиты.

Несмотря на кажущуюся сложность системы, правильная ее реализация на iOS показала, что она действительно может быть эффективной. Чего не скажешь об Android, где главные лицензиаты в лице Samsung и HTC, первыми представившие подобные системы, первыми же с ними и облажались, а затем быстрым темпом перейдя на неудобную систему лицевого распознавания, опять просчитались, так как ее эффективность и надежность оказались под большим вопросом.

Используя уникальную, специально разработанную и оптимизированную технологию камеры TrueDepth на iPhone X, Apple получила более эффективный инструмент, снижающий риск ложных срабатываний и существенно снижающий возможность обхода системы при биометрической идентификации. Конечно же, стоимость подобной системы сенсоров, скорее всего, оградит большинство Android-производителей от ее использования. Совсем недавно, например, Google отметила, что, по ее ожиданиям, 1/3 от всех проданных Android-смартфонов будут представлять собой устройства ценой до 100 долларов.

Несмотря на серьезные различия в ценовом весе, Apple ожидает, что ее смартфон стоимостью от 1000 долларов и выше купят более трети ее будущих клиентов (а возможно, и половина). И есть целый ряд причин, по которым пользователи захотят приобрести такое устройство, но важнее всего, что все они получат доступ к технологии TrueDepth, а это значит, что у сторонних разработчиков развяжутся руки при виде всей этой огромной базы пользователей в несколько десятков миллионов потенциальных клиентов.

В дополнение к сложностям адаптации полноценно функционирующих аппаратных сенсорных 3D-средств в своих смартфонах, Android-лицензиаты столкнулись с еще одной проблемой, которую Apple, в свою очередь, уже давно решила, – отсутствием полноценной экосистемы и реально качественных средств для демонстрации.

Как сообщали недавние отчеты, китайские производители столкнулись со сложностью адаптации 3D-сенсоров, построенных компаниями Qualcomm/Himax. Также отмечалось, что «производителям смартфонов потребуется больше времени для создания нужной экосистемы в виде прошивки, программного обеспечения и приложений, необходимых для эффективной производительности сенсорных 3D-модулей, предназначенных для поддержки таких функций, как сканирование отпечатков пальцев или сенсорного управления», делая из этого вывод, что «такие трудности становятся основным барьером перед интеграцией 3D-сенсорных технологий в смартфоны».

Android и отсутствие глубины

Попытки сторонних производителей заполнить рынок сенсорами 3D-камер для мобильных устройств ничем массовым так и не обернулись. Google работала с технологиями компании PrimeSense в течение нескольких лет в рамках своего проекта Tango, но сама пока так и не смогла убедить чувствительных к ценообразованию Android-лицензиатов адаптировать необходимые для работы этой системы технологии.

Как только Apple продемонстрировала инструмент для разработки дополненной реальности (АR) ARKit, Google тут же переименовала часть платформы Tango в «ARCore», видимо, таким образом пытаясь вернуть интерес к своей технологии за счет шума вокруг конкурента. Но опять же отсутствие установленной базы Android-устройств с поддержкой функций дополненной реальности и еще меньший запас возможности работы с глубинным анализом данных, собираемых будь то двойной камерой или любым типом сенсора глубины, в итоге не позволили к прийти к чему-то конкретному.

Кроме того, децентрализованная природа самой системы Android не только приводит к таким проблемам, как фрагментация и отсутствие оптимизации, но также и задает курс на производство сверхдешевых устройств, а не производительного оборудования и специализированных камер, необходимых для обработки сложных AR-данных, собираемых на базе камер с технологией глубинного анализа сцены. А вместо того, чтобы начать производить действительно мощное железо, Google долгие годы продвигала идею, что Android, Chrome и Pixel – это продукты, которые могут занять нижний ценовой сегмент и демонстрировать свою эффективность за счет подключения к мощным облачным сервисам. Но это, в свою очередь, породило среди народа предположение, что единственное, что реально нужно компании, так это данные о ее пользователях, в то время как вопрос возможности предложить лучшие варианты реализации продвинутых технологий своим клиентам для нее второстепенен.

Производительность процессора Apple A11 Bionic на фоне процессоров конкурентов

Как отмечают аналитики, Apple продолжает наращивать свой отрыв в повышении мощности устройств, а это, в свою очередь, приводит к тому, что iOS-устройства становятся все более и более способными к эффективной работе без необходимости наличия высокоскоростного соединения с облачными сервисами. Например, та же функция биометрической аутентификации работает полностью в локальном режиме, что коренным образом снижает риск перехвата пользовательских данных сторонними лицами.

Новый уровень глубины: Vision и CoreML

Наличие огромной вычислительной мощности вкупе с возможностью распознавать объекты, положение, движение и даже лица конкретных людей на фото делает возможным для Apple использование так называемого компьютерного зрения на своих устройствах – технологии, которая уже использовалась при обработке статичных фотографий, а теперь ставшая доступной и для использования в режиме непосредственной съемки.

Разумеется, Depth стала не единственной технологией, предназначающейся для обработки изображения на iOS. В дополнение к новым функциям, требующим наличия двух камер, а также новой технологии TrueDepth для iPhone X, выход iOS 11 сопроводился выпуском настоящего алгоритма машинного обучения, который будет использоваться камерами устройств на базе iOS 11.

• распознавание изображений в реальном времени;
• предиктивный ввод текста;
• распознавание образов;
• анализ тональности;
• распознавание рукописного текста;
• ранжирование поиска;
• стилизация изображений;
• распознавание лиц;
• идентификация голоса;
• определение музыки;
• реферирование текста;
• и не только.

Этим летом Apple отмечала, что CoreML уже работает в шесть раз быстрее, чем существующие аналоги на Android. При этом речь шла о работе на iPhone 7. Все функции нового фреймворка Apple пообещала предоставить сторонним разработчикам, желающим усовершенствовать свои приложения.

Источник