Как сканировать айфоном лидар

3D-сканирование с помощью лидара iPhone

Как вы наверное знаете, последнее поколение iPhone (12 Pro и 12 Pro Max) оснащено камерой с лидаром. 3D съемка для меня — это естественная эволюция съемки и я ждал этого дня почти 10 лет.

Недавно было выпущено несколько приложений для съемки в 3D, которые на полную используют эту новую возможность. Я протестировал практически все доступные из них, и на протяжении последних 3 месяцев активно занимался 3D сканированием. Меня часто спрашивают, какие приложения я рекомендую и как получить красивые снимки. Вот информация о приложениях, что мне нравится в каждом из них, а также некоторые общие советы по работе с лидаром в iPhone.

Итак, вот мои 6 приложений для сканирования, все они поддерживают экспорт напрямую в Sketchfab:

Scaniverse

Scaniverse в целом работает хорошо, быстрый и простой в использовании, создает отличные текстуры и хорошо справляется с устранением пустот. Убедитесь, что вы работаете со снимками в ультра-режиме. Этот инструмент очень хорошо подходит для сканирования таких вещей, как автомобили. Вот этот замороженный Мини — один из моих лучших снимков с лидаром. Все мои снимки со сканера находятся тут, а приложение — тут.

Polycam

Polycam быстро работает и отлично справляется с текстурами. Вы можете обрабатывать изображение в HD-режиме и получать мгновенные результаты сканирования. Очень хорошо подходит для сканирования таких вещей как комнаты или фрески, а также стритарт. Здесь можно посмотреть мои снимки Polycam, а само приложение — здесь.

3D scanner app

3D scanner app предлагает массу опций, благодаря которым обеспечивается полный контроль. Например, вы можете легко отделить или обрезать лишнее пространство в приложении. Можно отрезать даже с помощью сферы. Я считаю, что приложение особенно хорошо подходит для небольших вещей, таких как, например, эта долларовая купюра. Убедитесь, что используете режим HD. Тут вы можете посмотреть все мои снимки 3D scanner app, а приложение можно скачать здесь.

Record3D

Record3D позволяет снимать объемное видео, также известное как 4D контент, т. е. 3D сканирование на каждый кадр видео. Вот первые шаги моей дочери. Имейте в виду, что этот формат в итоге выдает очень тяжелые файлы, так что вам нужно снимать всего несколько секунд, чтобы можно было загрузить видео на Sketchfab. Здесь вы можете найти все мои записи в формате Record3D, а приложение — здесь.

SiteScape

SiteScape отлично подходит для быстрого создания точных облаков точек. Вы можете регулировать плотность и размер точек. Мне нравится использовать его для сложных и замысловатых сцен или структур. Также может быть отлично подходит для автомобилей. Здесь находятся все мои снимки SiteScape. Приложение можно найти здесь.

Everypoint

Everypoint отлично подходит для больших облаков точек, например, для этой мозаики в подземке. Разработчики дразнят нас грядущим обновлением приложения, сочетающим лидар и фотограмметрию, с нетерпением ждем, чтобы попробовать. Тут вы можете найти все мои снимки Everypoint, а приложение — здесь.

Общие советы

Вот некоторые общие советы, касающиеся сканирования с помощью лидара на iPhone:

• Помните, что можно сканировать. Люди часто разочаровываются при сканировании на iPhone, как правило сканируя вещи, которые сами по себе не дают шансов на хороший результат. Наиболее важным является помнить, что сканер не работает с мелкими вещами и объектами. Например, обычный ботинок зачастую слишком маленький. Также лидар в iPhone плохо работает с блестящими/отражающими элементами
• Избегайте повторного сканирования уже пройденной области, это, скорее всего, создаст проблемы с совмещением и создаст артефакты на вашем изображении
• Сканирование вокруг чего-то маленького/тонкого — например, статуи, стула или стены — как правило работает плохо
• Убедитесь, что каждая часть сканируемой области хорошо отсканирована, чтобы избежать появления брешей и пустот. Для этого я обычно использую что-то вроде жеста распыления, немного похожего на то, как если бы я рисовал аэрозольной краской
• Идите медленно и аккуратно. Не дергайтесь
• Красивый и аккуратный 3D снимок существенно влияет на общее восприятие. 3Dscannerapp, Polycam и Scaniverse предлагают кадрирование непосредственно в приложении
• Sketchfab предлагает множество возможностей, которые помогут превратить плохой скан в нормальный. Мне нравится добавлять тени (2-я вкладка редактора), а затем постпроцессные эффекты, такие как резкость, глубина резкости, насыщенность
• Добавление 3D аннотаций в Sketchfab — отличный способ превратить скан в мини-историю

Продажа 3D фото

Магазин Sketchfab позволяет монетизировать свои 3D творения. Мне кажется, что большинство моих снимков с лидаром iPhone все еще немного отстают по качеству для того, чтобы разместить их в магазине. При этом я выставил 2 из них на продажу (мини и кабинет врача), потому что пользователи на самом деле спросили меня, как они могут их купить. Суть в том, что никогда не знаешь, как кто-то может использовать ваши сканы, и часто речь идет скорее о том, чтобы установить соответствующую цену в зависимости от качества и ограниченности контента. Не стоит забывать, что качество (и мои навыки) продолжает улучшаться, поэтому я ожидаю, что в будущем смогу выставить на продажу больше 3D снимков. Помните, что если вы сканируете что-то с интеллектуальной собственностью (например, Мини), вы можете размещать это только под издательской лицензией.

Источник

3D-сканирование вашего дома с помощью сканера LiDAR в iPhone 12

Одна из главных особенностей двух моделей iPhone 12 Pro — сканер LiDAR. Ночной режим Портретные фотографии уже впечатлили меня, и приложение для создания 3D-сканирования вашего дома теперь тоже это делает.

Canvas — это приложение для iPhone, которое можно использовать для сканирования комнат, а затем за небольшую плату превратить их в профессиональные модели САПР, которые можно использовать для реконструкции дома. Возможно, вы заметили, что он был показан при запуске iPhone 12…

Пользоваться приложением довольно просто. Встаньте в центре комнаты и нажмите кнопку сканирования. Затем он накладывает сетку дополненной реальности на вашу комнату, очень похожую на отключенный Star Trek Holosuite. Просто продолжайте перемещать телефон вверх и вниз, медленно поворачиваясь, чтобы покрыть всю сетку. Секции сетки исчезают, когда вы захватываете каждую часть комнаты.

Я говорю «довольно просто», потому что у меня действительно было несколько сбоев. Когда я впервые попробовал это в своем офисе, это не сработало — мы думали, потому что комната слишком мала, примерно 10 на 9 футов. Наша гостиная также оказалась сложной, так как в ней есть кухонный альков, и вам негде стоять в комнате с полным обзором каждой вертикальной поверхности. Лучший компромисс означал, что на поверхности, которую он не мог видеть, была стена, а не дверь.

Самый первый результат, который вы видите по завершении сканирования, не выглядит обнадеживающим!

Принятие приглашения на просмотр расширенного сканирования также не вселяет уверенности, поскольку на экране обработки отображается что-то… очень схематичное.

Затем это превращается во что-то более разумное, хотя и с некоторыми сюрреалистическими штрихами и случайными прямыми линиями на изогнутых краях.

Но в этот момент у вас есть разумная модель комнаты с дополненной реальностью. Теперь вы можете встать в другой комнате, развернуться и просмотреть свою модель AR — даже если некоторые углы все еще выглядят крайне маловероятно, чтобы сформировать основу подробных моделей CAD.

Однако на этом этапе вы можете приступить к измерениям в модели — и они уже идеально соответствовали профессиональным планам, которые мы создали.

Настоящая магия происходит, когда вы заказываете свои модели САПР через приложение. Вы можете выбрать между 2D-планом за 15 долларов и набором 3D-моделей, которые стоят 29 или 39 долларов, в зависимости от формата, который нужен вам или вашему подрядчику. Приложение поддерживает SketchUP (файлы .skp, .dwg и .dae), Revit (.rvt, .dwg и .ifc) и главного архитектора (.plan, .dwg и .dae). Все они также включают повторно обработанное сканирование.

Я передал результаты другу-архитектору, который разработал наши планы, и он был очень впечатлен.

Ух, столько подробностей! Он даже сделал разные слои, чтобы изолировать потолок и другие части — я очень впечатлен, так как это несколько часов работы!

Он подтвердил, что произведенные модели подходят для использования подрядчиками. Все изображения ниже можно просмотреть в новой вкладке, чтобы увидеть их в большем размере.

Если вы не используете ни одно из приложений, вы все равно можете просматривать модели в Интернете, и я был потрясен результатами. Например, верхнее изображение (воспроизведенное здесь для удобства) было создано простым снятием флажка с пола, потолка и стен. Затем я смог повернуть модель, приблизить ее и обойти.

Источник

Сканер Lidar в iPhone – для чего нужен, как пользоваться

Технология трёхмерного сканирования далеко не нова, но лидары длительное время были приборами отнюдь не миниатюрными. Уменьшение размеров микропроцессоров позволило размещать их даже в смартфонах, и впервые полноценный лидар появился на iPhone 12.

Строго говоря, технология, позволяющая определять расстояния, использовалась в телефонах и ранее, но весьма ограниченно, так что назвать такие гаджеты устройствами с лидаром можно только условно, и мы расскажем, почему.

Что такое лидар в iPhone

LiDAR – это аббревиатура (Light Detection and Ranging), которую можно перевести как «обнаружение и определение дальности объектов с использованием света». Лидары, у которых источником света является лазер, – рутинные приборы в современной геодезии и картографии. В телефон лазер поместить не удастся, но источником светового луча может выступать и светодиод, просто радиус его действия будет небольшим. Это означает, что измерять большие расстояния не получится, но и для малых расстояний применение лидару, как оказалось, имеется.

Принцип его работы достаточно прост: светодиод испускает световые волны, которые отражаются от встречающихся на пути объектов, и их улавливает детектор, который, с учётом среды, рассеивающей отраженный луч, рассчитывает расстояние до объекта на основании времени, прошедшего от и спускания светового луча до улавливания его отражения. То есть теперь вы примерно понимаете, как работает лидар в iPhone.

Сначала Lidar внедрили в iPad Pro, вышедший весной 2020 года, а спустя полгода удалость внедрить его и в iPhone 12 (версии Pro/Pro Max). Излучатель в смартфонах расположили на блоке тыловых камер.

Полноценные лазерные лидары имеют достаточно большую дальность действия, что позволило использовать их, например, в автопилотах современных транспортных средств. В частности, в электромобилях от Теслы имеется множество лидаров, ответственных за оценку дорожной ситуации – они умеют не только определять расстоянии, но и распознавать другие автомобили и отличать их от недвижимых объектов.

Не стоит путать ToF-сенсоры, имеющиеся у некоторых моделей Android-смартфонов, с лидарами, которыми оснащаются iPhone. Технология Time of Flight, хотя и базируется на том же принципе – определение расстояния до объекта с использованием светового луча, делает это немного по-другому – посылая одиночный импульс.

Сканер Lidar, установленный в iPhone, сканирует пространство непрерывно, что позволяет не только определять расстояние, но и формировать 3D-образ объектов в поле зрения датчика. К тому же зона охвата пространства у лидара существенно больше, чем у датчиков ToF, что позволяет использовать их не только для определения оптимальных характеристик фотосъёмки, но и в приложениях, ориентированных на дополненную реальность.

Наконец, в солнечную погоду ToF-сенсоры работают неважно, поскольку прямые солнечные лучи сбивают с толку детектор, лидар же этого недостатка лишён. И его радиус действия больше, чем у ToF – на сегодня это порядка 5 метров, но эта цифра искусственно ограничена, а в ближайшей перспективе стоит ожидать резкого увеличения этого показателя.

То есть вы примерно уже представляете, для чего нужен датчик Лидар в iPhone, и хотя с его внедрением в свои гаджеты Apple немного отстали, на самом деле технологически они опередили конкурентов, реализовав технически более совершенный и перспективный продукт.

Как пользоваться лидаром в iPhone

Конечного пользователя теоретические выкладки, изложенные выше, интересуют мало – им подавай практическую пользу.

Что ж, давайте обсудим это. Для начала об эффекте использования лидара в фотографировании. На iPhone 12 Pro/Pro Max новая технология позволяет получить более качественную портретную съёмку: Lidar позволяет лучше фокусировать различные участки лица, например, волос или ушей. Пока что эта «фишка» работает только со статикой, но в ближайшей перспективе ожидается, что технология будет применима и к портретной видеосъёмке. Возможно, это произойдёт уже в ближайшем релизе новой версии iOS или придётся подождать выхода новой модели iPhone.

Использовать Lidar на iPhone 12 Pro можно и для максимально точного определения расстояний до объектов, находящихся в зоне действия датчика. То есть теперь не составит труда выяснить высоту стен вашей квартиры, длину и ширину всех комнат, и даже кривизну поверхностей, например, пола. И для этого вам не потребуются никакие рулетки и метры.

Более того, возможности Lidar, реализованные в iPhone 12, позволяют использовать их и при ведении строительных работ, успешно заменяя нивелиры и дальномеры.

Для «яблочного» телефона уже разработаны приложения, имеющие функцию создания моделей помещений с размещением в них трёхмерных объектов типа мебели.

Не стоит забывать и о том, что лидар умеет работать и в темноте. Вы можете проверить, насколько лучше получаются фотографии, сделанные при недостаточном освещении, включив лидар: фокусировка будет произведена в 4-6 раз лучше, а ведь сбитый фокус – основная проблема при фотографировании ночью.

Насколько нужен лидар в телефоне

Изначально технология, используемая в лидарах, применялась исключительно в картографических целях. Интересный факт: для сканирования лунной поверхности Аполлон-15 использовал именно лазерный лидар. Картографические возможности постепенно появились и в Android-телефонах, где ToF-сенсоры используются уже довольно давно.

Они же могут быть задействованы для фейс-контроля, заменяя достаточно сложные существующие схемы Face ID, состоящие их нескольких компонентов – лидар в состоянии получить гораздо более точную модель поверхности лица, и такой функционал уже реализован Galaxy S10 5G.

Другими словами, лидар – это весьма перспективное направление, имеющее множество прикладных сфер использования. В автомобилестроении и робототехнике лидары уже сегодня способны на многое, а что касается смартфонов, то здесь эра лидаров находится на этапе становления. Предсказать, насколько востребованной эта технология станет в среднесрочной перспективе, затрудняются даже эксперты.

Некоторые из них даже заявляют, что появление Lidar в iPad/ iPhone – это всего лишь маркетинговый ход, не имеющий сколь-нибудь практической ценности, кроме измерения расстояний до объектов.

На самом деле появляется всё больше приложений, использующих данную технологию для самых разных целей, от весьма экзотических до действительно нужных. Так что сомневаться в перспективности лидаров не стоит. И да, это действительно удачный маркетинговый ход, который по мере внедрения технологии заставит владельцев устаревших «яблочных» девайсов покупать более совершенные гаджеты.

Смартфоны на Android с использованием технологии лидаров

Мы уже отмечали, что Galaxy S10 5G умеет использовать лидар (а вернее, ToF-сенсор), для идентификации владельца телефона по его лицу. Учитывая тот факт, что современный смартфон становится мощным финансовым инструментом, вопросы безопасности его использования выходят на первый план, и улучшение одного из средств аутентификации вряд ли стоит называть несущественным фактором. Огорчает лишь то, что остальные производители не слишком спешат с подобными инновациями.

С другой стороны, внедрение ToF-сенсоров в смартфоны – уже тенденция, и в настоящее время ими оснащаются многие современные модели. Кроме Samsung, лидар уже имеется в другой южнокорейской модели – LG G8 Thin Q. Не отстают и китайцы, у Oppo имеется уже две популярные модели с лидаром: RX17 Pro и Reno, стоит упомянуть и компанию Huawei, выпустившую P30 Pro с ToF-сенсором, а также Honor View 20. Есть такой телефон и у Sony – Xperia XZ4.

А поскольку внедрение лидаров в Android-смартфоны началось намного раньше, чем у Apple, в некоторых областях они опережают яблочные девайсы. Например, в Google Pixel ToF-сенсоры успешно применяются для целей картографирования, ведутся эксперименты и с развитием технологии дополненной реальности с целью формирования трёхмерных карт.

Источник