Айфон 12 про как пользоваться лидером

Сканер LiDAR на iPhone 12 Pro — какие возможности?

Компания Apple добавила в свои новые iPhone 12 Pro | iPhone 12 Pro Max и iPad Pro (2020) сканер LiDAR. Рассуждаем, для чего можно использовать эту технологию уже сейчас и что будет в будущем.

Компания Apple начала серьезную работу над дополненной реальностью еще в 2017 году, когда им удалось произвести фурор с помощью виртуальной мебели в IKEA, а также довольно реалистичным сражениям Pokemon Go. С тех пор уже утекло немало воды, и сегодня мы держим в кармане новенький iPhone 12 Pro | 12 Pro Max , а также начинаем собирать слухи о выходе первой гарнитуры дополненной реальности производства Apple — Apple Glass.

Почему не Apple Glass?

Почему Apple не пошли шагами Microsoft и Google, представив нам сначала очки дополненной реальности, а сделали смелый шаг и внедрили сканер LiDAR в свои новые iPhone 12? По словам Майка Роквелла, главы разработок Apple AR, сейчас Apple больше заинтересованы не в том, чтобы показать нам что-то из ряда вон выходящее, а максимально адаптировать под будущее уже те продукты, которые сейчас лежат у нас в кармане.

На самом деле, гарнитуры дополненной реальности, такие как Oculus Quest 2, несмотря на улучшения из года в год, интересуют небольшое количество людей. Никто не говорит о количестве проданных VR и AR-гарнитур, кроме Sony.

Между тем, Apple продала около сотни миллионов iPhone и iPad с поддержкой AR, начиная с 2017 года. Также Apple заявляет, что уже существует 10 000 приложений для iOS с поддержкой AR от 7 000 разработчиков, многие из которых сосредоточены на покупках или улучшении дома с использованием AR.

При этом превосходство Apple в том, что компания не предлагает пользователю устанавливать дополнительный софт для того, чтобы воспользоваться услугами AR. Вы можете прямо из Safari посмотреть интересующую мебель в дополненной реальности. А с внедрением App Clips в iOS 14 эта процедура должна стать еще проще и востребованнее разработчиками.

Разработчики Adobe создали свое приложение AR Aero специально для iOS и iPadOS, игнорирую гарнитуры дополненной реальности, потому что понимают — куда больше криэйторов работают именно с iPad и iPhone.

LiDAR — шаг к дополненной реальности

Первые шаги Apple в области дополненной реальности, были сделаны с iPhone 8. Они заключались только в распознавании этажей с помощью датчиков движения, гироскопов и встроенной камеры телефона. Затем iPhone научился узнавать людей, животных.

iPhone и iPad с поддержкой LiDAR, невидимо распыляют массив инфракрасных лазеров, быстро создавая сетку (отображение в 3D) всех размеров комнаты. Это эволюция технологии, которую Google исследовал много лет назад, создав линейку телефонов Tango с датчиком глубины, но Apple сделала это в более продвинутом и широком масштабе.

Популярная социальная сеть Snapchat уже изучает возможности использования LiDAR для создания эффектов дополненной реальности, которые могут превратить виртуальные объекты в реальный мир, и даже проводит масштабные эксперименты, сканирующие целые городские кварталы.

Возможности для фотографии также кажутся потрясающими, потому что приложение Apple Camera использует LiDAR установленный в iPhone 12 Pro и iPhone 12 Pro Max для улучшения фокуса ночных фотографий и портретов. Но Apple пока не включает дополненную реальность в свое приложение камеры и не позволяет выполнять 3D-сканирование.

3D-макеты Tesla сделанные на iPhone 12 Pro с помощью LiDAR

Эти идеи оставлены разработчикам для изучения.

Trying some of the LiDAR-enabled AR apps I can find for the 2020 iPad Pro, to show meshing. Here’s one called Primer, an early build to test wallpaper on walls pic.twitter.com/SatibguyTm

Некоторые приложения, такие как DSLR Camera, уже используют LiDAR в новых iPhone для создания пользовательских слоев 3D-информации поверх данных фотографий и наложения текста в 3D на фотографии.

Кроме этих возможностей, LiDAR помогает обнаруживать людей в iOS 14.2 уже сейчас. Тем самым расширив возможности людей с особыми потребностями.

Какие приложения уде сейчас поддерживают LiDAR

1. Complete Anatomy 2021

Приложение позволяет ознакомиться с анатомией человека в реальном времени. Можно детально изучить строение мышц, костей и органов в дополненной реальности. Скачать с App Store.

2. RoomScan LiDAR

Можно просканировать свой дом и быстро создать 3D-макет/план вашего помещения. Скачать с App Store.

Приложение от IKEA, которое позволяет «примерять» различные предметы декора из магазина к вашему жилищу в режиме реального времени. Скачать с App Store.

4. 3d Scanner App

Позволяет сканировать различные предметы и создавать 3D-модели окружающей вас среды быстро с помощью встроенного LiDAR. Скачать с App Store.

5. RC Club — AR Racing Simulator

Симулятор машинки на радиоуправлении, которой можно управлять в дополненной реальности. Скачать с App Store.

App Clips — возможность развития AR на iPhone

С новой функцией App Clips, которая позволяет вам не скачивать, а сразу использовать нужное приложение перспективы AR на iPhone возрастают. Все потому, что многие люди в самом деле не используют дополненную реальность только из-за того, что им не хочется переходить и скачивать какое-то приложение, проходить регистрацию и так далее, чтобы просто посмотреть на какой-то объект AR. С App Clips, которые появились в iOS 14 это вам и не будет нужно.

Захотите посмотреть на какой-то объект AR вроде экспоната в музее или карты местности — все что вам будет нужно просто просканировать QR-код.

Источник

Зачем iPhone 12 нужен лидар, или Самая бесполезная функция

Я всегда любил технику Apple за её практичность и продуманность. В отличие от Samsung, которая могла себе позволить совершенно бестолковые эксперименты в коммерческих смартфонах с технологиями слежения за взглядом или 100-кратным приближением изображений, компания из Купертино вела себя более осмотрительно и не предлагала своим пользователям инновации ради инноваций. Но в какой-то момент что-то пошло не так, и Apple сначала решила превратить планшет в компьютер, а потом и вовсе занялась освоением не применимых на практике AR и лидаров.

Лидар — бесспорно, очень интересная и сложная технология, но на практике мало применимая

Apple представила iPad Pro 2020 с новой камерой и клавиатурой как у MacBook

После того как Apple выпустила iPad Pro 2020 со встроенным лидаром, стало очевидно, что планшет является всего лишь тестовым полигоном для технологии компьютерного зрения перед по-настоящему важным релизом. Ведь планшет, тем более профессиональный, — это устройство узконаправленное, а вот смартфон, тем более флагманский, представляет собой гаджет более массовый. Поэтому сомнений в том, что iPhone 12 тоже получит поддержку лидара ни у кого не было с самого начала. Ведь не зря же Apple установила на корпус iPhone 11 такую большую площадку, где как раз осталось место ещё для одного модуля.

Лидар сканер — это…

В iPhone 12 тоже будет лидар, в этом почти нет сомнений. Но зачем он там нужен?

Если вы ещё не в курсе, лидар – это специальный сенсор, способный распознавать трёхмерные объекты благодаря технологиям поглощения и рассеивания света. Он просто излучает пучок света, который отталкивается от предметов, расположенных на его пути, и возвращается назад. Таким образом удаётся сформировать силует препятствий, находящихся в зоне видимости, и определить области, свободные от посторонних объектов. Как правило, лидары применяются в системах автопилотирования, выступая в роли глаз беспилотного автомобиля.

Все, что вам нужно знать о новом iPad Pro 2020

Но зачем это смартфону? Ну, на самом деле лидар можно приспособить как минимум для трёх целей. Его можно использовать для распознавания лиц, как поступила Samsung со своим Galaxy S10 5G, который разработчики компании обучили считывать рельеф лица не хуже, чем Face ID. Но поскольку Apple решила установить лидары на заднюю панель своих устройств, логично предположить, что и использоваться они будут если не конкретно для фотосъёмки, то по крайней мере в роли вспомогательного инструмента для камеры. Значит, остаются только два варианта: работа с дополненной реальностью и портретная съёмка.

Дополненная реальность на iPhone

Да, мы знаем, что Apple неровно дышит к дополненной реальности, а лидар может помочь ей в реализации намеченных целей, обучив AR-объекты работать с окружающим пространством и учитывать препятствия, чтобы не проваливаться в текстуры. Но, как видите на представленных выше изображениях, сейчас iPhone довольно неплохо справляются с размещением виртуальных предметов, создавая впечатление вполне материальных. Поэтому единственное, что улучшит лидар, — это замеры при помощи приложения «Линейка», сделав их более точными, и точность позиционирования при размещении виртуальной мебели из приложения «ИКЕА». Других сценариев я придумать пока не могу.

Сравнение iPad Pro 2020 и iPad Pro 2018: стоит ли покупать новинку?

Другое дело – насколько востребована будет эта функция у пользователей. На мой взгляд, AR – это именно та история, которая годится только в качестве вау-фактора. Ну, подумайте сами, сколько раз вы её запустите? Один? Два? Три? Уверен, что не больше, да и то только в первую неделю после покупки, пока хочется протестировать все возможности новинки. Нет, ну правда, вспомните, сколько раз вы пытались запускать AR на своём нынешнем iPhone или iPad? От силы раза полтора. Не изменит ситуацию и лидар, ведь дело не в том, что дополненная реальность плохо совмещается с повседневной, а в том, что это никому не нужно.

Как улучшить портреты на айфоне

Лидар может улучшить портретную съёмку, но зачем, если она на iPhone и так всегда была на высоте?

Портретная съёмка пока выглядит самым вероятным сценарием массового использования лидара. Благодаря тому что он позволяет распознавать трёхмерные объекты, он сможет добиться более естественного и правильного эффекта размытия. Но вот проблема – телеобъективы, которые Apple использовала в iPhone с 2016 года, и так справлялись со своей задачей на 100%. Что-то я не припомню, чтобы кто-то из экспертов негативно отозвался о портретной съёмке даже на iPhone 7 Plus, не говоря уже о более новых моделях. Напротив, флагманские аппараты Apple либо превосходили конкурентов, либо шли с ними вровень, но никак не уступали. Поэтому, в общем, и здесь лидар будет ни к чему.

Почему я думаю, что iPhone 12 не выйдет в сентябре 2020 года

Аналогичного мнения придерживается и Михаил Королёв, основатель AppleInsider.ru:

Можете забросать меня камнями, но я искренне не понимаю, зачем нужно встраивать лидар в iPhone. Ради крутых фоток с размытым фоном или ради дополненной реальности, которой никто никогда не пользовался? Удорожание смартфона в настоящее время — явно не лучшая идея. Лидару место в автомобилях Tesla или роботах Яндекса, которым он нужен для автономного передвижения, но никак не смартфону. Надеюсь, что я не прав и Apple откроет нам глаза на реальные сценарии применения лидара в iPhone 12, но пока верится с трудом, что это произойдёт.

Я бы тоже очень хотел ошибиться и в сентябре узнать, что Apple придумала для лидара в iPhone 12 совершенно гениальное применение, а не вот эти притянутые за уши сценарии вроде AR или портретной съёмки. Но, учитывая, что пока никто даже в теории не придумал, как ещё можно использовать этот аппаратный компонент, меня не покидает стойкое ощущение, что Apple действительно свернула куда-то не туда и уделяет время технологии, которая банально не нужна большинству пользователей.

Источник

Для чего нужен сканер LIDAR (Лидар) в iPhone 12 и iPad Pro и что это такое?

Если появление дополнительной камеры в iPhone или iPad явно заметно, то оснащение новых устройств Apple датчиком LIDAR многими игнорируется. Что это за технология такая и насколько нужна она широкому кругу пользователей?

Что такое LiDAR?

Само слово LiDAR (Light Detection and Ranging) дословно расшифровывается, как «обнаружение и определение дальности с помощью света». Эта технология активно используется в геодезии, картографии, где излучателем света является лазер.

В системах же ближнего радиуса действия его успешно заменяют светодиоды. Принцип действия LiDAR довольно прост – излучатель испускает световые волны, а приемник получает возращенный от тела отраженный сигнал, при этом учитывается воздействие рассеивающей среды. На основании времени отклика можно определить расстояние до объекта.

Так видит LiDAR окружающий мир:

Появившийся в марте 2020 года iPad Pro (обзор) и осенью – iPhone 12 Pro и iPhone 12 Pro Max как раз и получили датчик LiDAR на блоке тыловых камер.

LiDAR в iPhone 12 Pro и iPhone 12 Pro Max

LiDAR на iPad Pro

Для чего LiDAR в iPhone 12 Pro и iPad Pro?

LiDAR на iPhone может быть востребован уже сегодня и выполнять практические задачи. Можно говорить о применении технологии в съемке максимально естественных портретов с натуральным эффектом боке. LiDAR помогает волосам, ушам и другим частям тела человека или животных оставаться в фокусе. В будущем возможности этой технологии могут быть расширены и на портретные видео. Но это произойдет в следующих релизах операционной системы или даже с выходом новых моделей iPhone.

Видится возможным использовать LiDAR для сверхточного измерения физических расстояний. В практической жизни любой владелец актуального iPhone или iPad с такой технологией сможет без проблем точно измерить габариты своей квартиры: длину и высоту стен, кривизну пола. Но дело тут не в удовлетворении любопытства, такая информация может оказаться полезной при проведении строительных работ. Обычно там требуются дальномеры и нивелиры, но смартфон с лидаром может их подменить. Есть уже и приложения, которые с помощью лидара сканируют контуры рабочего пространства и затем создают модель производственного помещения, помещая туда трехмерные объекты.

А с учетом факта отличной работы сенсора LiDAR не только в светлое время суток, но и в темное, эта камера используется для улучшения Ночного режима съемки в iPhone 12 Pro и iPhone 12 Pro Max. Датчик отлично распознает объекты, что позволяет до 6 раз быстрее наводиться автофокусу. В результате резко уменьшится число ночных фотографий, в которых фокус оказался сбитым.

Есть и еще одна сфера применения технологии LiDAR. По утверждению компании, этот элемент был недостающим для реализации революционных приложений дополненной реальности. Датчик LIDAR от Apple способен измерять дистанцию до объектов на расстоянии до 5 метров, работая как в помещении, так и на улице. Операционная система объединяет эту информацию с данными камер, датчиков движения и обрабатывает с помощью алгоритмов компьютерного зрения. Это помогает iPhone и iPad Pro быстрее и лучше размещать на проанализированной сцене объекты дополненной реальности. Можно не сомневаться, что благодаря LIDAR уровень AR вырастет, даруя новые ощущения от возможностей техники Apple.

Надо сказать, что компания давно уже пытается освоить поле дополненной реальности, работая над соответствующим программным и аппаратным обеспечением еще с 2017 года. Тогда была представлена платформа ARKit для разработки под iOS подобных приложений. С тех пор каждое крупное обновление операционной системы появляется с демоверсией технологии AR, будь то Minecraft или Lego. И каждое улучшение камер или процессора неявно обещает и очередное улучшение технологии. Но пока еще не так много реальных возможностей ее применения.

Созданное на основе ARKit приложение автоматически и мгновенно получает информацию о размещении объектов в поле зрения камеры, улучшенный захват движения для вовлечения людей. Появление датчика LIDAR привело к обновлению ARKit и появлению нового Scene Geometry API, которое как раз и позволит использовать новый сканер для реализации невозможных ранее сценариев.

Вполне возможно, что датчик LIDAR даст новый импульс этой истории. И уже появляются приложения, использующие новую возможность устройств Apple. Так, в Apple Arcade появилась игра Hot Lava, которая превращает жилую комнату в игровую поверхность.

Устройство сканирует помещение и размещает в нем виртуальное поле из лавы и платформы для прыжков персонажа. Приложение Shapr3D дает возможность отсканировать комнату, а потом создает ее трехмерную модель для последующего редактирования. Похожий функционал и у IKEA Place, которая после анализа комнаты поможет подобрать для нее мебель.

Сканер LIDAR улучшит приложение Рулетка для вычисления габаритов материальных объектов. В нем появилась виртуальная рулетка для более детальных измерений.

Пока сфера дополненной реальности является удивительной, но вовсе не неотъемлемой частью нашей жизни. Компания Apple планомерно, шаг за шагом, делает все, чтобы это исправить. Можно только поприветствовать такое намерение разнообразить наше будущее. А сканер LIDAR – важный инструмент на пути реализации технологии.

Источник