Arkit apple что это

Что такое Apple ARKit и с чем его едят?

Виртуальная реальность (VR), несмотря на все её прелести и возможности, на данный момент почти не интересует компанию Apple. Но дополненная реальность (AR) — это совсем другое дело! Своё внимание на эту сферу развития IT яблочная компания обратила давно. Первые серьёзные шаги, правда, мы увидели лишь сейчас, в 2017 году.

iOS 11 доступна на совместимых устройствах уже с сегодняшнего дня (19 сентября). Вместе с этим релизом iOS сотни миллионов людей по всему миру получат доступ к максимально качественной дополненной реальности.

Как работает ARKit?

В рамках ARKit разработчики могут создавать самые различные виртуальные образы с недоступной ранее степенью интеграции в реальную жизнь. Как и всегда, Apple старается делать ставку на сильнейшую сторону своего бизнеса — идеальное взаимодействие между ПО и железом. Теперь iPhone и iPad смогут использовать поступающий с камер, гироскопов, акселерометров и прочих датчиков набор данных для того, чтобы буквально чувствовать своё место в текущей обстановке, с учётом окружающих устройство объектов. Одно из ключевых применений для всех этих данных — поиск подходящих по размеру для текущей задачи плоских предметов или линий, на которые можно поместить информацию или виртуальный предмет.

В распоряжении Apple сейчас есть наиболее быстрые и при этом экономные мобильные процессоры. ARKit может получать полный доступ к их ресурсам. Поддерживаются A9, A10 и A11. Для построения сцен могут использоваться и другие наборы возможностей, вроде Metal и SceneKit.

Конечно, самый новый (и дорогой) iPhone X наиболее удачно подходит для ARKit. Его фронтальная камера дополняется системой трёхмерного сканирования. Пока что максимальный эффект от этого получают различные развлечения, вроде приложения Snapchat, его маски теперь смогут выглядеть невероятно реалистично. Но на этом разработчики со всего мира вряд ли остановятся.

Что ARKit умеет прямо сейчас?

На данный момент не так много. Наиболее интересное и применимое в жизни приложение — это IKEA Place, оно позволяет «примерить» мебель и некоторые другие товары из этой торговой сети к собственной комнате в реальном масштабе. Ещё есть ModiFace, окраска волос в реальном времени. Виртуальная, конечно же.

Дополненную реальность можно также использовать для навигации. В особенности для того, чтобы найти человека или нужный объект в людном месте. Для этого сделано приложение Neon, оно показывает месторасположение человека светящейся стрелкой.

Приложение Kabaq позволяет упростить выбор блюда в ресторане. Оно показывает, как примерно будет выглядеть блюдо, когда его принесут готовое на тарелке. Как показывает демонстрационное видео, виртуальную еду не так-то просто отличить от реальной.

Куда бы двигался мир без игр? The Machines, нечто в стиле League Of Legends и прочих подобных MOBA, работает именно при помощи ARKit. Перемещения игрока в реальности меняют обстановку внутри игры. Музыка, например, может становиться громче или играть более приглушённо.

Источник

Дополненная
реальность

А что, если границы между воображением и реальным миром не существует? Благодаря технологиям дополненной реаль­ности (AR) это не просто возможно, это уже факт.

Дополненная реальность открывает новые перспективы для работы, учёбы, игр и взаимодей­ствия с окружающим миром. Теперь можно увидеть то, что в реальности невозможно показать или слишком сложно реализовать.

Apple создала крупнейшую платформу для дополнен­ной реальности, в основе которой миллионы устройств с поддержкой AR, а также тысячи приложений в App Store, разработанных специально для допол­ненной реальности. А так как устройства и программное обеспечение Apple сразу проектируются с учётом технологий AR, то они просто идеально подходят для погружения в дополненную реальность.

У дополненной реальности много разных применений.

Clips.

Функция «Сцены дополненной реальности» помогает наполнить реальный мир потряса­ющими иммерсивными эффектами. С помощью сканера LiDAR, который определяет глубину пространства 1 , эта функция позволяет устроить в комнате дождь из конфетти, разместить виртуальный танцпол или украсить всё шлейфами из звёзд. Снимите на видео смешное заявление, важное объявление или просто что‑нибудь без повода. В вертикальном или гори­зонтальном формате. А потом с лёгкостью опубликуйте нереальный результат с дополненной реальностью в соцсетях.

Snapchat.

Общаться с друзьями в Snapchat станет ещё веселее, если использовать эффекты дополненной реальности. Благодаря сканеру LiDAR 1 вы сможете превратить свою комнату в волшебный лес: на полу вырастет трава, на столе — цветы, стены оплетёт лоза, а над головой появится бесконечное звёздное небо.

ARki позволяет визуализировать 3D‑проекты в допол­ненной реальности. Вы можете сами посмотреть, как будет выглядеть готовый проект, и показать его другим. Используя сканер LiDAR и новейшие технологии окклюзии людей, доступные в составе ARKit 1 , приложение ARki максимально реалис­тично представляет объекты в масштабе окружающего мира — или в виде миниатюры у вас на столе.

AR Quick Look.

Благодаря функции AR Quick Look можно пользоваться возможностями дополненной реальности прямо в Safari, Сообщениях и Почте. Например, прежде чем покупать что‑то в интернете, можно посмотреть в дополненной реальности, как этот предмет будет смотреться в комнате.

Ради всего человечества — ДР.

Хотите погрузиться в мир сериала «Ради всего человечества», представ­ленного в Apple TV+? Вы сможете познакомиться с Дэнни Стивенсом, сыном астронавтов Гордо и Трейси Стивенс, и узнать, что произошло за десять лет, разделяющих первый и второй сезон. Изучайте памятные артефакты в дополненной реальности — они многое расскажут о жизни героев любимого сериала. У каждого предмета своя история.

DSLR Camera.

Снимайте зрелищные фото и видео. Теперь не нужно вручную применять маски к человеку или объекту. Сканер LiDAR 1 определяет глубину пространства, поэтому текст и изображения почти мгновенно перемещаются
на задний план.

JigSpace.

Узнайте, как устроены разные объекты: от двигателя самолёта до кораллового рифа. Всё с помощью трёхмерных интерактивных изображений. Доступны десятки моделей по различным темам: механизмы, наука, космос, история, практика и другие.

Apollo’s Moon Shot AR.

Станьте свидетелем космических миссий NASA по программе «Аполлон», пополните свои знания в области астрономии и побывайте на Луне с помощью дополненной реальности.

IKEA Place.

Приложение IKEA Place поможет представить, как разные предметы впишутся в интерьер. И вам не придётся для этого выходить из дома. На устройствах со сканером LiDAR 1 вы сможете обставить комнату с помощью умных рекомендаций, которые подбирают предметы, подходящие к вашей мебели и пространству.

Plantale.

Посмотрите, как развивается растение и как причудливо устроены его корни, стебли, листья и цветы. Наблюдая за виртуальным цветком, вы увидите весь процесс его прорастания и узнаете, какие условия для этого необходимы.

Museum Alive.

Благодаря технологиям дополненной реальности в приложении Museum Alive оживают существа, которых давно уже нет на нашей планете. Сэр Дэвид Аттенборо расскажет вам о древних животных, а реалистичные 3D‑изображения помогут представить, как они выглядели когда‑то и как выглядят сейчас их окаменевшие скелеты, найденные учёными-археологами.

Взаимодействие технологий для AR.

Устройства Apple проектируются в связке с программным обеспечением — это позволяет задействовать максимум возможностей дополненной реальности (AR). Продвинутые камеры, великолепные дисплеи, датчики движения и мощные графические процессоры в сочетании с уникальными системами машинного обучения и передовыми инструментами разработчиков буквально созданы для реалистичных и увлекательных применений AR. А ещё дополненная реальность поддерживается на системном уровне в iOS и iPadOS. Это значит, помимо специальных приложений её преимущества доступны прямо в Safari, Почте, Сообщениях, Файлах и не только — всё благодаря функции AR Quick Look.

Больше приложений
с дополненной реальностью
вы найдёте в App Store.

Разработчики постоянно выпускают новые приложения с дополненной реальностью. Кроме того, новые возможности дополненной реальности появляются во многих популярных приложениях. Вы легко найдёте их все в App Store.

Сделайте мир ещё удивительнее
с помощью ARKit 5.

ARKit 5 и RealityKit — это передовые платформы разработки, с помощью которых можно создавать потрясающие приложения с дополненной реальностью для iPhone и iPad. Создайте что-нибудь удивительное уже сегодня.

Источник

More to Explore with ARKit 5

ARKit 5 brings Location Anchors to London and more cities across the United States, allowing you to create AR experiences for specific places, like the London Eye, Times Square, and even your own neighborhood. ARKit 5 also features improvements to Motion Tracking and support for Face Tracking in the Ultra Wide camera on iPad Pro (5th generation). And with a new App Clip Code anchor, you can pin virtual content from your App Clip or ARKit app to a printed or digital App Clip Code.

Expanded Face Tracking support

Support for Face Tracking extends to the front-facing camera on any device with the A12 Bionic chip and later, including iPhone SE, so even more users can delight in AR experiences using the front-facing camera. Face Tracking is now also supported by the Ultra Wide camera in the latest iPad Pro (5th generation). Track up to three faces at once using the TrueDepth camera to power front-facing camera experiences, such as Memoji and Snapchat.

Location Anchors

Place AR experiences at specific places, such as cities and famous landmarks. Location Anchors lets you anchor your AR creations at a certain latitude, longitude, and altitude. Users can move around virtual objects to see them from different perspectives, exactly as real objects are seen through a camera lens.

Requires iPhone XS, iPhone XS Max, iPhone XR, or later. Available in select cities.

Discover more ARKit features

Depth API

The advanced scene understanding capabilities built into the LiDAR Scanner allow this API to use per-pixel depth information about the surrounding environment. When combined with the 3D mesh data generated by Scene Geometry, this depth information makes virtual object occlusion even more realistic by enabling instant placement of virtual objects and blending them seamlessly with their physical surroundings. This can drive new capabilities within your apps, like taking more precise measurements and applying effects to a user’s environment.

Instant AR

The LiDAR Scanner enables incredibly quick plane detection, allowing for the instant placement of AR objects in the real world without scanning. Instant AR placement is automatically enabled on iPhone 12 Pro, iPhone 12 Pro Max, and iPad Pro for all apps built with ARKit, without any code changes.

Motion Capture

Capture the motion of a person in real time with a single camera. By understanding body position and movement as a series of joints and bones, you can use motion and poses as an input to the AR experience — placing people at the center of AR. Height estimation improves on iPhone 12, iPhone 12 Pro, and iPad Pro in all apps built with ARKit, without any code changes.

Simultaneous front and back camera

You can simultaneously use face and world tracking on the front and back cameras, opening up new possibilities. For example, users can interact with AR content in the back camera view using just their face.

Scene Geometry

Create a topological map of your space with labels identifying floors, walls, ceilings, windows, doors, and seats. This deep understanding of the real world unlocks object occlusion and real-world physics for virtual objects, and also gives you more information to power your AR workflows.

People Occlusion

AR content realistically passes behind and in front of people in the real world, making AR experiences more immersive while also enabling green screen-style effects in almost any environment. Depth estimation improves on iPhone 12, iPhone 12 Pro, and iPad Pro in all apps built with ARKit, without any code changes.

Additional improvements

Detect up to 100 images at a time and get an automatic estimate of the physical size of the object in the image. 3D object detection is more robust, as objects are better recognized in complex environments. And now, machine learning is used to detect planes in the environment even faster.

The Depth API is specific to devices equipped with the LiDAR Scanner (iPad Pro 11-inch (2nd generation), iPad Pro 12.9-inch (4th generation), iPhone 12 Pro, iPhone 12 Pro Max).

Resources and documentation

Download the latest version of Xcode, and use these resources to create AR experiences.

SDKs and betas

Download SDKs and beta operating systems for all Apple platforms.

Documentation

Browse the latest documentation including API reference, articles, and sample code.

Session videos

See the latest in Apple technologies presented at WWDC and other events.

Forums

Ask questions and discuss development topics with Apple engineers and other developers.

Источник

Что нового в ARKit 2.0

Прошло две недели после окончания конференции WWDC. Сессии отсмотрены, документация перечитана, демо проекты сделаны, а значит, можно оформить всю собранную информацию в статью.

В первой версии ARKit была возможность отслеживать перемещение телефона в пространстве, определять количество и теплоту света вокруг, а также получать информацию о горизонтальных плоскостях. В ARKit 1.5, который вышел вместе с iOS 11.3, улучшили качество изображения, добавили определение вертикальных плоскостей, распознавание статичных 2D-изображений и автофокус. Давайте посмотрим, что добавили в версии 2.0.

Сохранение и восстановление AR-карты

Нам дали возможность сохранять карту окружения вместе с расставленными объектами дополненной реальности. Имея карту, можно инициализировать с помощью неё AR-сессию, после чего ранее расставленные объекты появятся в нужных местах. Сохранённую карту также можно передать на сервер и использовать на других устройствах.

Реализовано это так: у ARSession появился метод getCurrentWorldMapWithCompletionHandler , который возвращает ARWorldMap . Внутри этого объекта хранится информация об опорных точках, с помощью которых ARKit может восстановить нулевую координату сцены, а также массив ARAnchors , к которым могут быть привязаны объекты. ARWorldMap можно сохранить или отправить куда-нибудь. Для восстановления карты нужно передать её в поле initialWorldMap у ARSessionConfiguration перед запуском сессии. После запуска статус сессии перейдёт в состояние .limited с причиной .relocalizing . Как только ARKit соберёт достаточное количество точек для восстановления, нулевая координата будет выставлена в правильное положение и статус сессии перейдёт в состояние .normal .

Для лучшей работы Apple советует следующее:

• сканируйте сцену с разных сторон. Массив точек будет больше и точнее;
• окружение должно быть статическим и хорошо текстурированным;
• массив точек должен быть достаточно плотным.

Самостоятельно следить за этими параметрами не нужно, так как теперь у ARFrame есть поле worldMappingStatus . Но нужно их учитывать при проектировании приложения.

Многопользовательская дополненная реальность

Механизм сохранения карты окружения позволил синхронизировать систему координат между несколькими устройствами. Зная положение каждого из устройств относительно карты окружения, можно построить многопользовательские сценарии.

На презентации была показана игра SwiftShot, в которой нужно стрелять из своих рогаток по рогаткам соперника.

Игра написана на Swift + SceneKit. Синхронизация действий пользователей происходит с помощью фреймворка MultipeerConnectivity. Исходники приложения можно скачать по ссылке.

Отражение окружающей среды

Добавляя металлический объект виртуальной реальности на сцену, хотелось бы увидеть в нём отражение объектов реального мира. Для этого у ARWorldTrackingConfiguration появилось поле environmentTexturing . Если вы в качестве движка используете SceneKit и выставите поле environmentTexturing в .automatic , вы получите вот такой результат:

Получая изображение с камеры, ARKit строит кубическую карту с текстурой окружающей среды. Информация, которая не попала в кадр, генерируется с помощью алгоритмов машинного обучения.

Отслеживание перемещающихся 2D-изображений

В ARKit 1.5 появилось отслеживание только статичных изображений. Во второй версии ограничение снято, и теперь можно получать координаты перемещающихся изображений. Подобный функционал раньше предоставлял SDK Vuforia. На презентации в качестве примера использования показали замену фото на видео в фоторамке:

Для лучшего трекинга нужно использовать контрастные, хорошо текстурированные изображения с отчётливыми признаками. Xcode выдаст предупреждение, если это требование не соблюдается.

Для отслеживания изображений нужно использовать ARImageTrackingConfiguration . В конфигурацию передаётся массив trackingImages и выставляется maximumNumberOfTrackedImages . Координаты изображения будут возвращены в виде ARImageAnchor .

Отслеживание статичных 3D-объектов

Также добавили поддержку распознавания статичных 3D-объектов. Перед распознаванием объект нужно отсканировать. Сделать это можно с помощью приложения от Apple. Объект сканирования должен быть монолитным, матовым и хорошо текстурированным.

Для отслеживания объектов нужно создать ARReferenceObject из файла или каталога ресурсов и добавить его к ARWorldTrackingConfiguration.detectionObjects . Информацию об объектах вы будете получать в ARFrame .

В качестве примера на презентации показали отображение информации о статуэтке в музее в дополненной реальности.

Отслеживание лица

В предыдущих версиях можно было получать координаты и поворот лица, полигональную сетку лица и массив блендшейпов (51 эмоция с прогрессом от нуля до единицы). Во второй версии мы увидим три новшества:

определение направленного света.

ARKit 2 использует изображение лица как источник информации о свете. С его помощью можно определить интенсивность, температуру и направление света. Это позволит сделать маски более реалистичными;

отслеживание языка.

К блендшейпам добавили tongueOut , который показывает [0,1] степень «высуности» языка. От себя могу добавить, что пробовали показать язык практически все мои знакомые, которым я давал поиграться с animoji;

отслеживание взгляда.

У ARFaceAnchor появились три новых поля: leftEyeTransform , rightEyeTransform и lookAtPoint . В интернете уже есть демки с примерами использования:

Control your iPhone with your eyes. Just look at a button to select it and blink to press. Powered by ARKit 2. #ARKit #ARKit2 #WWDC #iOS pic.twitter.com/ow8TwEkC8J

Общие улучшения в новой версии:

Все улучшения, кроме перехода на соотношение сторон 4:3, будут применены к вашим приложениям автоматически. Для последнего нужно пересобрать приложение с новым SDK.

Если для вас информация была полезной, поддержите меня стрелкой вверх. А на вопросы я готов ответить в комментариях.

Источник