Сканирование помещений iphone 12 pro

Сканер LiDAR на iPhone 12 Pro — какие возможности?

Компания Apple добавила в свои новые iPhone 12 Pro | iPhone 12 Pro Max и iPad Pro (2020) сканер LiDAR. Рассуждаем, для чего можно использовать эту технологию уже сейчас и что будет в будущем.

Компания Apple начала серьезную работу над дополненной реальностью еще в 2017 году, когда им удалось произвести фурор с помощью виртуальной мебели в IKEA, а также довольно реалистичным сражениям Pokemon Go. С тех пор уже утекло немало воды, и сегодня мы держим в кармане новенький iPhone 12 Pro | 12 Pro Max , а также начинаем собирать слухи о выходе первой гарнитуры дополненной реальности производства Apple — Apple Glass.

Почему не Apple Glass?

Почему Apple не пошли шагами Microsoft и Google, представив нам сначала очки дополненной реальности, а сделали смелый шаг и внедрили сканер LiDAR в свои новые iPhone 12? По словам Майка Роквелла, главы разработок Apple AR, сейчас Apple больше заинтересованы не в том, чтобы показать нам что-то из ряда вон выходящее, а максимально адаптировать под будущее уже те продукты, которые сейчас лежат у нас в кармане.

На самом деле, гарнитуры дополненной реальности, такие как Oculus Quest 2, несмотря на улучшения из года в год, интересуют небольшое количество людей. Никто не говорит о количестве проданных VR и AR-гарнитур, кроме Sony.

Между тем, Apple продала около сотни миллионов iPhone и iPad с поддержкой AR, начиная с 2017 года. Также Apple заявляет, что уже существует 10 000 приложений для iOS с поддержкой AR от 7 000 разработчиков, многие из которых сосредоточены на покупках или улучшении дома с использованием AR.

При этом превосходство Apple в том, что компания не предлагает пользователю устанавливать дополнительный софт для того, чтобы воспользоваться услугами AR. Вы можете прямо из Safari посмотреть интересующую мебель в дополненной реальности. А с внедрением App Clips в iOS 14 эта процедура должна стать еще проще и востребованнее разработчиками.

Разработчики Adobe создали свое приложение AR Aero специально для iOS и iPadOS, игнорирую гарнитуры дополненной реальности, потому что понимают — куда больше криэйторов работают именно с iPad и iPhone.

LiDAR — шаг к дополненной реальности

Первые шаги Apple в области дополненной реальности, были сделаны с iPhone 8. Они заключались только в распознавании этажей с помощью датчиков движения, гироскопов и встроенной камеры телефона. Затем iPhone научился узнавать людей, животных.

iPhone и iPad с поддержкой LiDAR, невидимо распыляют массив инфракрасных лазеров, быстро создавая сетку (отображение в 3D) всех размеров комнаты. Это эволюция технологии, которую Google исследовал много лет назад, создав линейку телефонов Tango с датчиком глубины, но Apple сделала это в более продвинутом и широком масштабе.

Популярная социальная сеть Snapchat уже изучает возможности использования LiDAR для создания эффектов дополненной реальности, которые могут превратить виртуальные объекты в реальный мир, и даже проводит масштабные эксперименты, сканирующие целые городские кварталы.

Возможности для фотографии также кажутся потрясающими, потому что приложение Apple Camera использует LiDAR установленный в iPhone 12 Pro и iPhone 12 Pro Max для улучшения фокуса ночных фотографий и портретов. Но Apple пока не включает дополненную реальность в свое приложение камеры и не позволяет выполнять 3D-сканирование.

3D-макеты Tesla сделанные на iPhone 12 Pro с помощью LiDAR

Эти идеи оставлены разработчикам для изучения.

Trying some of the LiDAR-enabled AR apps I can find for the 2020 iPad Pro, to show meshing. Here’s one called Primer, an early build to test wallpaper on walls pic.twitter.com/SatibguyTm

Некоторые приложения, такие как DSLR Camera, уже используют LiDAR в новых iPhone для создания пользовательских слоев 3D-информации поверх данных фотографий и наложения текста в 3D на фотографии.

Кроме этих возможностей, LiDAR помогает обнаруживать людей в iOS 14.2 уже сейчас. Тем самым расширив возможности людей с особыми потребностями.

Какие приложения уде сейчас поддерживают LiDAR

1. Complete Anatomy 2021

Приложение позволяет ознакомиться с анатомией человека в реальном времени. Можно детально изучить строение мышц, костей и органов в дополненной реальности. Скачать с App Store.

2. RoomScan LiDAR

Можно просканировать свой дом и быстро создать 3D-макет/план вашего помещения. Скачать с App Store.

Приложение от IKEA, которое позволяет «примерять» различные предметы декора из магазина к вашему жилищу в режиме реального времени. Скачать с App Store.

4. 3d Scanner App

Позволяет сканировать различные предметы и создавать 3D-модели окружающей вас среды быстро с помощью встроенного LiDAR. Скачать с App Store.

5. RC Club — AR Racing Simulator

Симулятор машинки на радиоуправлении, которой можно управлять в дополненной реальности. Скачать с App Store.

App Clips — возможность развития AR на iPhone

С новой функцией App Clips, которая позволяет вам не скачивать, а сразу использовать нужное приложение перспективы AR на iPhone возрастают. Все потому, что многие люди в самом деле не используют дополненную реальность только из-за того, что им не хочется переходить и скачивать какое-то приложение, проходить регистрацию и так далее, чтобы просто посмотреть на какой-то объект AR. С App Clips, которые появились в iOS 14 это вам и не будет нужно.

Захотите посмотреть на какой-то объект AR вроде экспоната в музее или карты местности — все что вам будет нужно просто просканировать QR-код.

Источник

Зачем нужен LiDAR в iPhone 12 Pro? Ответим на примере Canvas

• 
• 

Датчик глубинного сканирования iPhone 12 Pro, основанный на LiDAR, предоставляет множество возможностей для 3D-приложений. Новый сканер Canvas, предназначенный для сканирования дома, использует LiDAR для повышенной точности и детализации моделей. Но приложение будет работать и с не-Pro версиями iPhone.

Приложение Canvas, созданное компанией Occipital из Боулдера (кстати говоря, подразделение данной компании в Москве также принимало активное участие в разработке сканера), первоначально было выпущено для iPad Pro, чтобы воспользоваться преимуществами лидарного сканирования. Демонстрация возможностей этой программы показывает как технология Apple для измерения глубины может быть применена в настоящих консьюмерских решениях.

С момента дебюта iPhone 12 Pro с LiDAR появилось несколько оптимизированных приложений, предлагающих 3D-сканирование объектов, крупномасштабную фотографию со сканированием пространства (так называемую фотограмметрию) и дополненную реальность Но Canvas на iPhone 12 Pro показывает лучшие результаты и выглядит удобнее, чем приложения для 3D-сканирования, с которыми нам удалось поработать ранее.

По словам вице-президентов Occipital по продуктам Алекса Шиффа и Антона Якубенко, iOS 14 от Apple предоставляет разработчикам более широкий доступ к лидарным данным iPhone. Это позволило Occipital создать собственные алгоритмы для наилучшего использования карты глубины нового телефона Apple. Причем, новый SDK от Apple позволяет создавать более классные решения для сканирования объектов даже без использования LiDAR.

Сканирование трехмерного пространства без датчика LiDAR для карт глубины возможно, и такие компании, как 6d.ai (приобретенная Niantic), уже используют его. Но Шифф и Якубенко говорят, что LiDAR по-прежнему позволяет получать более точные результаты. По данным Occipital, версия Canvas для iPhone 12 Pro делает более качественные сканы, чем первая версия для iPad Pro.

В основном это связано с более глубоким доступом iOS 14 к лидарной информации. Новейшая версия с поддержкой LiDAR имеет точность в пределах 1%, в то время как сканирование без датчика глубины дает точность в районе 5% (что буквально делает iPhone 12 Pro ПРОфессиональным апгрейдом).

Чтобы далеко ходить, мы ранее уже делали обзор на Structure Sensor от той же компании Occipital. Этот сенсор представлял собой отдельный гаджет, который крепился на iPad. А теперь представьте на мгновение, что практически все то, что предлагало отдельное устройство, можно получить прямо из коробки, и прямо в телефоне миниатюрного размера! А самое главное – все работает весьма качественно, и уже сейчас применяется на практике.

Демонстрация работы Canvas на презентации iPhone 12 Pro

Сканы комнат, сделанные с помощью Canvas, можно преобразовать в рабочие модели САП (Система Автоматического Проектирования), что занимает около 48 часов, но Occipital также работает над более быстрым преобразованием изображений и добавлением семантических данных (например, распознавания дверей, окон и других деталей помещений) с помощью ИИ. То, над чем раньше работали проектировщики и дизайнеры несколько суток, можно сделать самостоятельно с помощью смартфона – магия!

По мере того, как все больше 3D-сканов и 3D-данных начинают появляться на iPhone и iPad, тем больше будет иметь смысл использовать более распространенные форматы файлов для обмена и редактирования моделей. В какой-то момент 3D-сканирование может стать таким же стандартизированным, как PDF-файлы. И отсканировать какой-то объект станет таким же обыденным действием, как и сделать скан документа сейчас.

Надеемся, что в этой статье мы все-таки ответили на вопрос о том, зачем в iPhone 12 Pro нужен LiDAR. За этим определенно будущее. Раньше для сканирования помещений необходимо было вызывать обученных людей со специальным оборудованием, теперь это сделать можете вы с помощью своего телефона самостоятельно. И такой сценарий можно наложить практически на любую сферу деятельности.

Источник

Как использовать LiDAR: нашли 10 бесплатных программ для iPhone 12 Pro и iPad Pro

LiDAR установлен в iPhone 12 Pro и 12 Pro Max, а также в iPad Pro. Он сканирует пространство и определяет очертания объектов в поле зрения.

В новых смартфонах, к примеру, именно благодаря ему портретный режим работает вместе с ночным, а в приложении «Рулетка» появляются новые фишки.

Сканер окружения повышает точность взаимодействия с дополненной реальностью и открывает массу дополнительных возможностей. Чтобы раскрыть их на 100%, разработчики массово взялись за новый софт. Мы собрали первые интересные программы в App Store, которые заточены под использование LiDAR.

Обратите внимание: некоторые из приложений в подборке без LiDAR вообще не работают, а другие ограничивают набор своих возможностей.

1. «Рулетка» — быстрое измерение человеческого роста

В стандарте приложение «Рулетка» должно быть установлено на iPhone 12 Pro. Тем не менее, если вы удаляли его на предыдущем смартфоне и использовали восстановление данных для перехода на новый, велика вероятность, что его снова придется загружать из App Store. Благо, это бесплатно.

«Рулетка» определяет размеры объектов с помощью дополненной реальности. Если запустить ее на iPhone 12 Pro и навести видоискатель на человека, приложение тут же покажет его рост. Причем, оно должно справиться с этой задачей, даже если испытуемый сидит.

Остальные возможности программы можно попробовать на любых других смартфонах: рост также получится измерить на них, но лишь вручную.

2. RoomScan LiDAR — создание поэтажных планов дома

Разработчики RoomScan LiDAR утверждают, что новый сенсор Apple идеально подходит для сканирования домов и создания поэтажных планов. Именно поэтому они переработали свой инструмент для работы с дополненной реальностью специально под iPhone 12 Pro, а также актуальную линейку iPad Pro.

Чтобы ускорить процесс сканирование помещений, разработчики RoomScan LiDAR также подключили движок Metal и решили максимально задействовать чипсеты Apple A12z Bionic и Apple A14 Bionic. Результат удивляет: вы можете создать подробный план дома в 3D и спланировать его ремонт.

Создатели приложения отдельно подчеркивают, что технологии, которые они используют в данном приложении, подкреплены патентом соответствующего Бюро США.

? Скачать RoomScan LiDAR (бесплатно + покупки)

3. magicplan — планирование ремонта и документация

Еще одно приложение, которое заточено под дизайнеров интерьера и владельцев недвижимости, озадаченных ремонтными работами. Оно также сканирует пространство для создания поэтажных планов помещения. Тем не менее, предлагает больше инструментов для перенесениях их из трех измерений в два.

Разработчики настаивают, что с помощью их приложения работа в полевых условиях упрощается. Речь про создание черновых планов помещения на месте, чего от дизайнера часто требуют заказчики. С iPhone 12 Pro или iPad Pro и LiDAR это можно сделать быстро — для этого же получится использовать отдельные лазерные дальномеры.

Функциональный набор приложения, кроме прочего, также включает работу со сметной и другой документацией, которая точно пригодится подрядчику.

? Скачать magicplan (бесплатно + покупки)

4. LiDAR Scanner 3D — быстрый сканер пространства

Это приложение, которое заточено под работу с iPhone 12 Pro и iPad Pro, представляет собой максимально быстрый 3D-сканер. С помощью него можно практически моментально превратить стену своего дома в трехмерную модель и сохранить полученный результат в форматах USDZ, OBJ, STL, PLY.

Отсканированные модели не содержат цветов и предназначены для дальнейшего использования в приложениях для работы с трехмерной графикой на компьютере или мобильных устройствах. По идее, это должно ощутимо сократить потраченное время на создание объектов с нуля.

Без LiDAR это приложение, увы, не работает. Поэтому его есть смысл устанавливать только на iPhone 12 Pro и iPad Pro.

? Скачать LiDAR Scanner 3D (бесплатно + покупки)

5. Heges 3D Scanner — определение объектов через LiDAR и Face ID

Еще одно приложение от предыдущего разработчика, которое может использовать не только LiDAR, но и Face ID. Собственно, поэтому его получится использовать не только на iPhone 12 Pro и iPad Pro, но также на iPhone X, XS, XR, 11, 11 Pro. Готовые «картинки» оно умеет сохранять в форматах STL и PLY.

Кроме прочего, оно также поддерживает возможность шаринга экрана. Это нужно для того, чтобы использовать фронтальную «батарею» камер True Depth, превратив в видоискатель любой другой девайс. Да, с LiDAR весь процесс значительно упрощается, но он пока доступен на ограниченном числе гаджетов.

Кстати, бесплатно с приложением можно только познакомиться. Чтобы активировать запись объекта, эту возможность придется оплатить.

? Скачать Heges 3D Scanner (бесплатно + покупки)

6. 3d Scanner App — сканирование объектов в 3D

Еще один сканер для объектов, который переносит их в трехмерное визуальное пространство и дает возможность использовать в форматах USDZ, OBJ, GLTF, GLB, DAE, STL. Их получится перенести в место, смоделированное на любом другом устройстве.

Описанные выше форматы можно добавить в Blender, 3dsMax, SketchUp, Maya и другой подходящий софт для трехмерного моделирования. Важной особенностью приложения является возможность сохранения размеров объектов, которые определяются при сканировании.

Приложение можно использовать абсолютно бесплатно без каких-либо ограничений.

7. AR COPY & PASTE — копирование и вставка трехмерных объектов

Данное приложение предназначено для копирования и вставки трехмерных объектов на iPhone 12 Pro и iPad Pro с помощью LiDAR. Ни на каких других гаджетах, по понятным причинам, оно полноценно не функционирует — можете даже не пробовать.

Собственно, суть программы проста: отсканировать объект и сохранить его или скопировать в другое пространство через дополненную реальность.

8. Hello How Low — видео с дополненной реальностью

Любопытный способ разнообразить свои видеоролики с помощью эффектов, завязанных на дополненной реальности. С помощью LiDAR приложение определяет очертания человека или другого главного объекта и дает возможность вставлять его на любой интересный фон. Получается неординарный результат.

С помощью встроенным покупок в приложении можно значительно расширить список встроенных фильтров.

? Скачать Hello How Low (бесплатно + покупки)

9. Record3D — ролики с дополненной реальностью

Еще одно любопытное приложение для создания роликов с использованием дополненной реальности. Оно сканирует объект с помощью Face ID или LiDAR и дает возможность использовать его в видеозаписях. Результат получается сюрреалистическим, но вполне интересным.

Отдельного внимания заслуживает возможность сохранения полученных изображений в формате RGBD для их дальнейшего использования в другом поддерживаемом софте.

Для того, чтобы бесплатно протестировать LiDAR в iPhone 12 Pro или iPad Pro, приложение предлагает три видеозаписи. В дальнейшем его придется приобрести.

? Скачать Record3D (бесплатно + покупки)

10. CyberWave — музыкальная визуализация через LiDAR

Без LiDAR данное приложение не работает. С помощью него же оно может создавать визуализацию музыкальных композиций в окружающем пространстве. Достаточно лишь включить программу и активировать воспроизведение любимых треков. Окружающий мир тут же начнет меняться через экран мобильного устройства.

Главное ограничение приложения: оно работает только с музыкой, которая не оснащена через DRM. Поэтому, увы, Apple Music в пролете.

? Скачать CyberWave (бесплатно + покупки)

? Используй лидар и держи свой айфон в красивом чехле:

▪️ Слева пластиковый Guess — 2 990 руб.
▪️ В центре кевларовый Pitaka — 5 990 руб.
▪️ Справа силиконовый Apple — 4 990 руб.

Источник