Lidar iphone 12 pro какие возможности обеспечивает сканер

Для чего нужен сканер LIDAR (Лидар) в iPhone 12 и iPad Pro и что это такое?

Если появление дополнительной камеры в iPhone или iPad явно заметно, то оснащение новых устройств Apple датчиком LIDAR многими игнорируется. Что это за технология такая и насколько нужна она широкому кругу пользователей?

Что такое LiDAR?

Само слово LiDAR (Light Detection and Ranging) дословно расшифровывается, как «обнаружение и определение дальности с помощью света». Эта технология активно используется в геодезии, картографии, где излучателем света является лазер.

В системах же ближнего радиуса действия его успешно заменяют светодиоды. Принцип действия LiDAR довольно прост – излучатель испускает световые волны, а приемник получает возращенный от тела отраженный сигнал, при этом учитывается воздействие рассеивающей среды. На основании времени отклика можно определить расстояние до объекта.

Так видит LiDAR окружающий мир:

Появившийся в марте 2020 года iPad Pro (обзор) и осенью – iPhone 12 Pro и iPhone 12 Pro Max как раз и получили датчик LiDAR на блоке тыловых камер.

LiDAR в iPhone 12 Pro и iPhone 12 Pro Max

LiDAR на iPad Pro

Для чего LiDAR в iPhone 12 Pro и iPad Pro?

LiDAR на iPhone может быть востребован уже сегодня и выполнять практические задачи. Можно говорить о применении технологии в съемке максимально естественных портретов с натуральным эффектом боке. LiDAR помогает волосам, ушам и другим частям тела человека или животных оставаться в фокусе. В будущем возможности этой технологии могут быть расширены и на портретные видео. Но это произойдет в следующих релизах операционной системы или даже с выходом новых моделей iPhone.

Видится возможным использовать LiDAR для сверхточного измерения физических расстояний. В практической жизни любой владелец актуального iPhone или iPad с такой технологией сможет без проблем точно измерить габариты своей квартиры: длину и высоту стен, кривизну пола. Но дело тут не в удовлетворении любопытства, такая информация может оказаться полезной при проведении строительных работ. Обычно там требуются дальномеры и нивелиры, но смартфон с лидаром может их подменить. Есть уже и приложения, которые с помощью лидара сканируют контуры рабочего пространства и затем создают модель производственного помещения, помещая туда трехмерные объекты.

А с учетом факта отличной работы сенсора LiDAR не только в светлое время суток, но и в темное, эта камера используется для улучшения Ночного режима съемки в iPhone 12 Pro и iPhone 12 Pro Max. Датчик отлично распознает объекты, что позволяет до 6 раз быстрее наводиться автофокусу. В результате резко уменьшится число ночных фотографий, в которых фокус оказался сбитым.

Есть и еще одна сфера применения технологии LiDAR. По утверждению компании, этот элемент был недостающим для реализации революционных приложений дополненной реальности. Датчик LIDAR от Apple способен измерять дистанцию до объектов на расстоянии до 5 метров, работая как в помещении, так и на улице. Операционная система объединяет эту информацию с данными камер, датчиков движения и обрабатывает с помощью алгоритмов компьютерного зрения. Это помогает iPhone и iPad Pro быстрее и лучше размещать на проанализированной сцене объекты дополненной реальности. Можно не сомневаться, что благодаря LIDAR уровень AR вырастет, даруя новые ощущения от возможностей техники Apple.

Надо сказать, что компания давно уже пытается освоить поле дополненной реальности, работая над соответствующим программным и аппаратным обеспечением еще с 2017 года. Тогда была представлена платформа ARKit для разработки под iOS подобных приложений. С тех пор каждое крупное обновление операционной системы появляется с демоверсией технологии AR, будь то Minecraft или Lego. И каждое улучшение камер или процессора неявно обещает и очередное улучшение технологии. Но пока еще не так много реальных возможностей ее применения.

Созданное на основе ARKit приложение автоматически и мгновенно получает информацию о размещении объектов в поле зрения камеры, улучшенный захват движения для вовлечения людей. Появление датчика LIDAR привело к обновлению ARKit и появлению нового Scene Geometry API, которое как раз и позволит использовать новый сканер для реализации невозможных ранее сценариев.

Вполне возможно, что датчик LIDAR даст новый импульс этой истории. И уже появляются приложения, использующие новую возможность устройств Apple. Так, в Apple Arcade появилась игра Hot Lava, которая превращает жилую комнату в игровую поверхность.

Устройство сканирует помещение и размещает в нем виртуальное поле из лавы и платформы для прыжков персонажа. Приложение Shapr3D дает возможность отсканировать комнату, а потом создает ее трехмерную модель для последующего редактирования. Похожий функционал и у IKEA Place, которая после анализа комнаты поможет подобрать для нее мебель.

Сканер LIDAR улучшит приложение Рулетка для вычисления габаритов материальных объектов. В нем появилась виртуальная рулетка для более детальных измерений.

Пока сфера дополненной реальности является удивительной, но вовсе не неотъемлемой частью нашей жизни. Компания Apple планомерно, шаг за шагом, делает все, чтобы это исправить. Можно только поприветствовать такое намерение разнообразить наше будущее. А сканер LIDAR – важный инструмент на пути реализации технологии.

Источник

Зачем нужен LiDAR в iPhone 12 Pro? Ответим на примере Canvas

• 
• 

Датчик глубинного сканирования iPhone 12 Pro, основанный на LiDAR, предоставляет множество возможностей для 3D-приложений. Новый сканер Canvas, предназначенный для сканирования дома, использует LiDAR для повышенной точности и детализации моделей. Но приложение будет работать и с не-Pro версиями iPhone.

Приложение Canvas, созданное компанией Occipital из Боулдера (кстати говоря, подразделение данной компании в Москве также принимало активное участие в разработке сканера), первоначально было выпущено для iPad Pro, чтобы воспользоваться преимуществами лидарного сканирования. Демонстрация возможностей этой программы показывает как технология Apple для измерения глубины может быть применена в настоящих консьюмерских решениях.

С момента дебюта iPhone 12 Pro с LiDAR появилось несколько оптимизированных приложений, предлагающих 3D-сканирование объектов, крупномасштабную фотографию со сканированием пространства (так называемую фотограмметрию) и дополненную реальность Но Canvas на iPhone 12 Pro показывает лучшие результаты и выглядит удобнее, чем приложения для 3D-сканирования, с которыми нам удалось поработать ранее.

По словам вице-президентов Occipital по продуктам Алекса Шиффа и Антона Якубенко, iOS 14 от Apple предоставляет разработчикам более широкий доступ к лидарным данным iPhone. Это позволило Occipital создать собственные алгоритмы для наилучшего использования карты глубины нового телефона Apple. Причем, новый SDK от Apple позволяет создавать более классные решения для сканирования объектов даже без использования LiDAR.

Сканирование трехмерного пространства без датчика LiDAR для карт глубины возможно, и такие компании, как 6d.ai (приобретенная Niantic), уже используют его. Но Шифф и Якубенко говорят, что LiDAR по-прежнему позволяет получать более точные результаты. По данным Occipital, версия Canvas для iPhone 12 Pro делает более качественные сканы, чем первая версия для iPad Pro.

В основном это связано с более глубоким доступом iOS 14 к лидарной информации. Новейшая версия с поддержкой LiDAR имеет точность в пределах 1%, в то время как сканирование без датчика глубины дает точность в районе 5% (что буквально делает iPhone 12 Pro ПРОфессиональным апгрейдом).

Чтобы далеко ходить, мы ранее уже делали обзор на Structure Sensor от той же компании Occipital. Этот сенсор представлял собой отдельный гаджет, который крепился на iPad. А теперь представьте на мгновение, что практически все то, что предлагало отдельное устройство, можно получить прямо из коробки, и прямо в телефоне миниатюрного размера! А самое главное – все работает весьма качественно, и уже сейчас применяется на практике.

Демонстрация работы Canvas на презентации iPhone 12 Pro

Сканы комнат, сделанные с помощью Canvas, можно преобразовать в рабочие модели САП (Система Автоматического Проектирования), что занимает около 48 часов, но Occipital также работает над более быстрым преобразованием изображений и добавлением семантических данных (например, распознавания дверей, окон и других деталей помещений) с помощью ИИ. То, над чем раньше работали проектировщики и дизайнеры несколько суток, можно сделать самостоятельно с помощью смартфона – магия!

По мере того, как все больше 3D-сканов и 3D-данных начинают появляться на iPhone и iPad, тем больше будет иметь смысл использовать более распространенные форматы файлов для обмена и редактирования моделей. В какой-то момент 3D-сканирование может стать таким же стандартизированным, как PDF-файлы. И отсканировать какой-то объект станет таким же обыденным действием, как и сделать скан документа сейчас.

Надеемся, что в этой статье мы все-таки ответили на вопрос о том, зачем в iPhone 12 Pro нужен LiDAR. За этим определенно будущее. Раньше для сканирования помещений необходимо было вызывать обученных людей со специальным оборудованием, теперь это сделать можете вы с помощью своего телефона самостоятельно. И такой сценарий можно наложить практически на любую сферу деятельности.

Источник

Исследовать Марс и управлять автомобилем? На что способен лидар в iPhone 12 Pro

Одним из главных нововведений iPhone 12 Pro и iPhone 12 Pro стал новый сканер LiDAR, который позволяет улучшить работу телефона с технологиями дополненной реальности, а также добавить продвинутые возможности фото. Apple уже добавляла LiDAR в iPad Pro 2020 года, но тогда этой технологии не уделили столько внимания. Здесь же другое дело — айфон, самый популярный продукт компании, где, по словам Apple, используются технологии NASA для исследования Марса! Впрочем, не только — лидар также есть, например, в электромобилях Tesla и собственных автомобилях Apple, где он используется для автопилота и ориентирования машины в пространстве. Как Apple вообще удалось запихнуть столь мощный датчик в корпус маленького iPhone?

Такой маленький, но такой способный

Зачем нужен лидар

Apple не лукавит, когда говорит о важности LiDAR для космических исследований. Например, NASA хочет использовать данный аппарат, чтобы изучить атмосферные явления на поверхности Марса. Дело в том, что пылевые марсианские бури часто достигают скорости 60-80 километров в час, и если посадить космический аппарат в таких условиях (тем более с людьми), можно поставить по удар всю операцию.

Поэтому изучить атмосферные явления на поверхности Марса и скорость ветров в NASA собираются с помощью лидара, который разместят на орбите. Аппарат будет посылать лазерные сигналы, которые, отражаясь от облаков и пыли, смогут дать ученым довольно четкую картину о скорости ветра на Марсе.

На Земле лидар уже используется NASA — например, для сканирования морского дна

Лидар также получил широкое распространение среди производителей электромобилей — например, Tesla. Там он создает 3D-карту окружающего пространства: «видит» пешеходов, автомобили и препятствия на дороге, позволяя автопилоту (или водителю) вовремя среагировать. Всего в самоуправляемых автомобилях используется 3 типа сенсоров: лидары, камеры и радары. Камеры дают детализированную картинку, способны определять знаки и сигналы светофоров, а радары дают точную информацию о скорости движения объектов и их расстоянии до беспилотного автомобиля.

Лидар и радар позволяют Tesla создать 3D-карту объектов вокруг себя

Но именно лидар, который сканирует пространство с помощью лазерных лучей, играет ключевую роль. Лучи, отражаясь от объектов, позволяют автомобилю понять, на каком расстоянии находится объект.

Посмотреть, как работает лидар и автопилот в Tesla, вы можете в Тиктоке Hi-News.ru, последнее видео там — прямо пушка!

Лидар в iPhone 12 Pro

Получается, Apple взяла и решила использовать технологию, которую уже практикуют производители электромобилей и хотят использовать для колонизации Марса? Именно так. Но скорость ветра лидар в iPhone 12 Pro или iPhone 12 Pro Max вычислить не сможет, а вот построить 3D-модель комнаты и объектов в ней — запросто. Айфон посылает множество невидимых лучей, а лидар вычисляет время, которое требуется лучу невидимого глазом света, чтобы дойти от передатчика до объекта и вернуться обратно. Лучи включаются с периодичностью в несколько наносекунд — таким образом, структурная карта постоянно уточняется.

Так лидар в айфоне увидит вашу комнату

Зачем это нужно? Мой коллега Иван Кузнецов уже подробно расписал все преимущества LiDAR в iPhone 12 Pro. Суть в том, что сканер мгновенно обрабатывает информацию обо всех поверхностях и определяет все элементы в комнате, поэтому виртуальные объекты (когда вы захотите посмотреть что-то в дополненной реальности) размещаются максимально правдоподобно.

Также лидар улучшает работу камеры iPhone: например, благодаря ему автофокус при слабом освещении работает до 6 раз быстрее. Плюс портретная съемка будет работать и «размывать» фон, даже если будет совсем мало света.

Технология, которую использует Apple, больше напоминает лидар в самоуправляемых автомобилях, и это действительно вызывает восхищение. Ведь в той же Tesla много места и разных датчиков, а Apple взяла и уместила крошечный сканер рядом с камерой iPhone. Немаловажную роль в этом сыграл нейронный процессор, который и обрабатывает всю информацию с этого лидара. Как думаете, для чего еще может использоваться лидар в iPhone? Давайте обсудим в комментариях и в нашем чате в Telegram.

Источник