Технология deep fusion iphone

Как использовать Deep Fusion в камере на iPhone 11

С выходом iOS 13.2 Apple, как и обещала, включила функцию Deep Fusion в камере iPhone 11. Сама компания называет ее «безумной компьютерной фотографией», а по факту это продвинутая система обработки изображений, которая использует сопроцессор Neural Engine в A13 Bionic для склейки нескольких фото в одно с улучшенной цветопередачей, детализацией и меньшим количеством шумом при слабом освещении.

Однако, в отличие от Ночного режима и других параметров съемки, вы не увидите никаких индикаторов того, что Deep Fusion активен. Apple это сделала специально — дескать, пускай за вас работает умная автоматика. Однако все-таки включить этот режим можно, если задать в настройках iPhone определенные параметры и снимать при определенной освещенности.

Для начала убедитесь, что у вас выполняются все четыре пункта:

1. Ваш iPhone 11 обновлен до iOS 13.2.
2. Параметр «Захват вне кадра» в Настройках > Камера отключен.
3. Вы используете широкоугольный или телеобъектив (1x или больше в приложении Камера).
4. Вы не снимаете серию фотографий.

Однако и это еще не все — в зависимости от освещенности, iPhone будет выбирать между Smart HDR и Deep Fusion:

• С широким (стандартным) объективом в условиях яркого освещения будет использоваться Smart HDR, в то время как Deep Fusion активируется для сцен со средним и слабым освещением (ночной режим, естественно, включается при съемке с недостаточным освещением).
• Телеобъектив, как правило, использует Deep Fusion, за исключением яркого освещения, когда начинает работать Smart HDR.
• С ультрашироким объективом Deep Fusion никогда не работает, вместо этого используется Smart HDR.

Источник

Deep Fusion в камере iPhone 11 и 11 Pro: что это, как работает и как включить?

На презентации iPhone 11 и iPhone 11 Pro компания Apple поведала о появлении новой технологии Deep Fusion. Вице-президент по маркетингу, Фил Шиллер, назвал ее «безумной наукой вычислительной фотографии». Но оценить Deep Fusion в действии пользователи смогли только с выходом iOS 13.2.

Что делает Deep Fusion при съемке фото в iPhone?

Новшество предназначено для автоматического создания и улучшения снимков. Принцип действия этой технологии чем-то напоминает HDR. Камера iPhone создает несколько снимков с разной экспозицией и комбинирует их для обеспечения максимальной детализации. Участие в обработке принимает нейросеть. Но если HDR предназначена для расширения динамического диапазона и повышения детализации в тенях, то Deep Fusion позволяет улучшить общую детализацию снимков.

После нажатия и до срабатывания кнопки затвора камера самостоятельно делает три снимка, установив для них короткую выдержку. А уже после первого этапа съемки – еще 4 кадра, один из них с длинной выдержкой. Все эти 7 снимков обрабатываются попиксельно и объединяются на основе лучших вариантов. Такая работа позволяет увеличить детализацию, убрать шумы, засветы и перетемненные участки. На выходе получается максимально бесшумный и четкий снимок.

Как включить автоматическое улучшение фотографии Deep Fusion на iPhone?

Чтобы функция Deep Fusion работала, перейдите по пути Настройки → Основные → Камера и отключите опцию «Захват фото вне кадра». Впоследствии функция автоматически будет применяться аппаратом во время съемки в зависимости от условий.

Блогер Тайлер Стейльман одним из первых протестировал работу Deep Fusion на своем iPhone 11. Объектом для съемки он выбрал самого себя. Для сравнения блогер привел фото с включенной Smart HDR. На увеличенных фрагментах снимка нетрудно увидеть, что с помощью Deep Fusion намного лучше передана детализация бороды (видны даже волоски), структура кожи и узор рубашки.

Стейльман заметил, что вырос и размер файла. Если снятый на iPhone XR снимок Smart HDR занимает 1,4 МБ в формате HEIC, то на iPhone 11 аналогичный кадр, обработанный Deep Fusion, займет уже 2,6 МБ.

Какие iPhone поддерживают Deep Fusion?

Поддержка технологии Deep Fusion предусмотрена только в iPhone 11, 11 Pro и 11 Pro Max и более новых моделях смартфонов Apple. Это легко объяснить – обработкой снимкой занимается новый 8-ядерный нейронный движок, установленный в процессор A13. Он присутствует только в новых моделях iPhone.

Источник

Как включить функцию Deep Fusion на iPhone 11, iPhone 12 и старых iPhone

Вместе с iPhone 11 Apple представила технологию съёмки Deep Fusion с использованием искусственного интеллекта и нейронных сетей для получения на выходе максимально качественной фотографии. Технологию даже успели прозвать «режимом для свитера», так как Deep Fusion лучше всего справляется с обработкой мелких деталей. И хотя много где можно встретить информацию, что эта функция включена на новых iPhone по умолчанию, зачастую ее необходимо активировать вручную в настройках. Ниже расскажу, как это сделать.

Хотите делать фото с максимальными деталями? Deep Fusion поможет

Что такое Deep Fusion?

При съемке Deep Fusion задействует сразу несколько инструментов. Технология анализирует каждый пиксель и улучшает его, получая на выходе максимально бесшумный и максимально чёткий снимок без засветов и тёмных зон. Также она делает три снимка с короткой выдержкой до нажатия на кнопку спуска затвора, а потом ещё четыре, один из которых — на длинной выдержке. Потом все эти кадры объединяются в один и достигается более высокий уровень детализации кадра. Вместе с попиксельной обработкой снимка на выходе получается действительно сочное фото.

Вот парочка примеров (да, героев специально попросили надеть свитер тонкой вязки):

Как работает Deep Fusion

Deep Fusion хорошо справляется с мелкими деталями

Как включить Deep Fusion на iPhone 11 и iPhone 12

Deep Fusion действительно в большинстве случаев включается автоматически, но этот режим активируется только в определенных случаях. В первую очередь у вас должна быть установлена iOS 13.2 и новее. После этого проверьте следующие настройки:

1. Откройте Настройки на iPhone;
2. Пролистайте до меню Камера и откройте его;
3. В открывшемся меню в разделе Композиция выключите функцию Показ вне кадра.

Отключите эту функцию для работы Deep Fusion

После этого Deep Fusion будет срабатывать в автоматическом режиме. Хотя индикатор, указывающий на активную работу Deep Fusion не появится, вы однозначно заметите улучшенное качество фотографий.

Зачем отключать функцию Показ вне кадра? Она используется для захвата остальной части сцены за пределами кадра, однако Deep Fusion не может работать в таком режиме из-за недостатка пикселей фокусировки и оптической стабилизации изображения. Поэтому если вы оставите Показ вне кадра включенным, Deep Fusion работать не будет.

На каких iPhone есть Deep Fusion?

Поддержка технологии Deep Fusion на данный момент предусмотрена в iPhone 11, 11 Pro, 11 Pro Max и новее. Главное, чтобы в телефоне был 8-ядерный нейронный движок, установленный в процессор A13 и A14.

Однако включить функцию Deep Fusion можно и на старых iPhone с помощью сторонних приложений. Например, в популярном приложении камеры Halide также есть режим обработки фото с искусственным интеллектом (Smartest Processing), просто в этом случае используются алгоритмы не Apple, а стороннего разработчика. Они работают не так эффективно, но все же неплохо, учитывая, что других вариантов улучшить камеру айфона по сути нет. В нашем канале Яндекс.Дзен мы рассказывали об этом более подробно.

Преимущество Smartest Processing в том, что данная функция может улучшать как обычные фотографии, так и портретные снимки, и даже ночные. Тогда как Deep Fusion обычно работает хорошо только в условиях с хорошим освещением.

А как вы фотографируете на iPhone? Используете ли вы сторонние приложения вроде Halide или какие-то встроенные функции iOS? Расскажите в комментариях или можете даже отправить примеры фотографий в наш Телеграм-чат.

Источник

Проверили, как работает Deep Fusion в новых iPhone

Вчера вечером Apple выпустила обновление iOS 13.2 для iPhone. Главное нововведение — функция Deep Fusion. Если коротко, то это штука, которая улучшает качество фотоснимков. Происходит это благодаря нейромодулю в составе чипа А13 Bionic, с помощью которого система снимает несколько фото с разными значениями экспозиции, проводит попиксельный анализ снимков и затем объединяет лучшие их части в одну крутую фотографию. Как результат — снимки с Deep Fusion отличаются высокой детализацией и фактурностью. Далее будет несколько сравнительных примеров, как снимает iPhone с Deep Fusion и без этой функции.

Для начала отметим, что Deep Fusion работает только на iPhone 11/11 Pro/11 Pro Max. Но и это не все. Дело в том, что Apple никак не обозначает на вашем смартфоне, работает в данный момент функция или нет. Система сама решает, когда надо активировать Deep Fusion, и не ставит пользователя в известность.

Точно известно, что Deep Fusion, как и ночной режим, не работает при съемке с ультраширокоугольной камеры. На основной камере функция активируется при низкой освещенности. А вот на телеобъективе Deep Fusion работает почти всегда, кроме очень яркого освещения, когда задействован Smart HDR.

Источник

Что такое Deep Fusion: как Apple прокачала камеру в iPhone 11

Весь последний год я пользовался iPhone XS Max на 256 Гб с двумя физическими SIM-картами. Сначала даже не думал менять его на что-то более новое. Но обстоятельства сложились так, что махнул его на простой iPhone 11 на 128 ГБ. Меня не смущает менее крутой и мелкий экран, а вот камера радует.

Дело в том, что я очень давно отказался от отдельного фотоаппарата как в работе, так и в личной жизни. Подавляющее большинство снимков даже в моих статьях сделано на мобильные устройства — почти всё на смартфоны Apple разных поколений. Очередной шаг вперёд в возможностях съёмки — это для меня очень важно. Конечно, было бы круче взять iPhone 11 Pro, но телевик мне нужен один раз в год. Решил, что цена не оправдана, и более подробно об этом я расскажу в отдельной статье. Если кратко, обновил не только смартфон, но и умные часы — доплата при этом практически не понадобилась.

Одним из главных нововведений свежей линейки iPhone оказалась именно новая система камер. В iPhone 11 используется два модуля по 12 Мп каждый — один широкоугольный с размером диафрагмы ƒ/1.8, второй сверхширокоугольный на ƒ/2.4. В iPhone 11 Pro и 11 Pro Max также используется телеобъектив на 12 Мп и с размером диафрагмы ƒ/2.0. Все камеры расположены максимально близко друг к другу, несмотря на спорный внешний вид самой системы на задней панели, чтобы максимально гладко переключаться между ними. Создаётся ощущение, что используется подвижный объектив, как на больших камерах.

Тем не менее, куда важнее программные механизмы, которые используются в новых смартфонах Apple. Они работают на базе нового процессора Apple A13 Bionic. Это ночной режим, Smart HDR нового поколения, а также режим Deep Fusion, на котором мы отдельно заострим внимание немного дальше.

10 новых фишек для съёмки, которые появились в iPhone 11

1. Сверхширокоугольная камера. Дополнительная камера в смартфонах Apple появилась ещё в iPhone 7 Plus в 2016 году — он стал одним из первых мобильных устройств с двумя «глазками» на задней части корпуса. Именно этот гаджет создал настоящий тренд, который быстро подхватили все конкуренты. Дополнительным модулем iPhone 7 Plus оказался телевик для имитации оптического зума. Переключаясь на эту камеру, вы приближали изображение в видоискателе в два раза практически без потери качества. Это могло пригодиться для съёмки деталей архитектуры, животных, природных явлений.

Apple использовала телевик в смартфонах до 2019 года. Он появлялся в iPhone 8 Plus, в iPhone X, в iPhone XS и XS Max. Аналогичный модуль используется также в iPhone 11 Pro и 11 Pro Max, но главная фишка новой линейки сверхширокий угол. Камера с обзором на 120 градусов на 12 Мп стала одной из самых интересных особенностей всей линейки iPhone 11. С помощью неё круто делать фото архитектуры вблизи, снимать внутри помещения и не только. Уверен, этот модуль куда интереснее телевика, так как подойти к объекту съёмки бывает проще, чем отойти от него.

Жаль только, что сверхширокоугольный объектив смартфона получил диафрагму ƒ/2.4. Этого недостаточно для получения качественных снимков в условиях недостаточного освещения — на это нужно обратить повышенное внимание. Аналогичная ситуация ранее была и с телевиком, но потом это исправили.

2. Увеличенная диафрагма телефото. В iPhone всегда был достаточно «тёмный» телевик. Например, в iPhone XS и XS Max размер его диафрагмы находился на уровне ƒ/2.4, чего достаточно мало для съёмки в помещении, а также на улице в вечернее время. Это не просто наши наблюдения, в этом всегда была уверена и Apple. Дело в том, что при использовании двукратного «оптического» приближения в условиях недостаточного освещения смартфон автоматически переключался на основную камеру. В итоге вы фактически получали двукратный цифровой зум, который сильно портил качество итогового изображения.

Нет, вы конечно могли принудительно использовать и телевик, но сделать это можно было только с помощью сторонних приложений — некоторые из них даже давали возможность фотографировать на две камеры одновременно. Тем не менее, это не отменяло того огромного числа шумов в телекамере.

Хорошо, что в iPhone 11 Pro и 11 Pro Max размер диафрагмы увеличили с ƒ/2.4 до ƒ/2.0. Apple обещает, что теперь переключений на основную камеру не будет, и телевик будет всегда отыгрывать свою роль на 100%. В этом нам ещё предстоит убедиться.

3. Более яркая вспышка True Tone. В актуальных iPhone используется интересный модуль вспышки, который состоит из нескольких светодиодов разной температуры. Это нужно для того, чтобы сделать кадр с его использованием более реалистичным. В новых смартфонах диоды стали более яркими.

4. Специальный ночной режим. Он работает на базе технологий машинного обучения и даёт возможность получить снимки максимально высокого качества даже в условиях крайне скудного освещения. Для этого используется имитация длинной выдержки и склеивание в один отдельных кадров.

5. Smart HDR нового поколения. Этот режим используется в условиях сложного освещения — например, против солнца. Обычно в этом случае некоторые участки снимка оказываются слишком тёмными, а другие пересвеченными. Данная функция как раз и нужна для того, чтобы всё исправить.

6. Особый режим Deep Fusion. С помощью этой технологии последние модели iPhone делают несколько снимков и склеивают их вместе. Благодаря этому значительно увеличивается детализация итогового изображения — это особенно хорошо видно на текстурах любых материалов.

7. Видео в HDR при 60 FPS. Ранее использовать расширенный динамический диапазон можно было только при съёмке видео с частотой 30 кадров в секунду. За счёт производительного процессора Apple A13 Bionic эту цифру удалось увеличить вдвое — до 60 кадров в секунду.

8. Аудиозум для контроля звука. Новые смартфоны Apple получили возможность регулировать громкость звука от объектов, которые находятся в видоискателе. Те, что расположены в фокусе, будут громче, остальные тише. Это создаёт ощущение присутствия в конкретной локации.

9. Фронтальная камера на 12 Мп. В iPhone XS и XS Max Apple использовала модуль фронтальной камеры на 7 Мп. В новинках компания заменила его сенсором с увеличенным разрешением, с помощью которого сделала следующий шаг в детализации ваших селфи.

10. Запись 4K-видео на фронталку. Записывать видео с помощью фронтальной камеры теперь можно в разрешении до 4K. Для этого можно использовать частоту 24, 30 или 60 кадров в секунду. Это круто, если вы планируете использовать iPhone за записи видеоблогов.

Deep Fusion — главное нововведение в приложении «Камера»

Режим Deep Fusion предназначен для того, чтобы увеличить детализацию снимков даже в самых спорных условиях внешнего освещения — не ночью, ведь для этого времени суток есть отдельный режим. Для этого любой гаджет из модельного ряда iPhone 11 делает сразу восемь снимков с разной экспозицией, почти как в случае со Smart HDR. После этого он собирает два фото, которые будут базовыми, и помещает их в буфер обмена. Дальше режим изучает каждую точку данных изображений с помощью искусственного интеллекта, а также следит за деталями, шумом и другими параметрами кадра.

Всё это нужно для того, чтобы определить, какой участок фото оставить в первозданном виде, к какому из них применить повышенную резкость, а какой из них нуждается в агрессивном шумоподавлении. В итоге получается один готовый снимок, который должен выглядеть более круто и проработано.

Вы должны понимать, что управлять этим режимом вручную нельзя. Это не функция, которую можно включить или выключить, а специальный умный алгоритм, который работает без постороннего вмешательства. Единственное, чем больше фоток вы будете делать, тем круче будет результат — это же нейронные сети.

Новый Smart HDR и Deep Fusion работают по похожему принципу, но у них абсолютно разные цели. Первый нужен для того, чтобы компенсировать сложные условия освещения, а второй — для повышения детализации итоговых снимков. Да, они склеивают несколько снимков в один, но результат будет разным.

Есть мнение, что Deep Fusion — это простой перешарп, который можно повторить с помощью «Фотошопа». Но на деле это не так. При повышении резкости снимок начинает выглядеть менее реалистично. А вот с Deep Fusion другая история — он добавляет детали более бережно.

Для работы функции Deep Fusion нужно 5 простых шагов:

Шаг 1. Вы делаете фотографию на iPhone 11 или iPhone 11 Pro с помощью стандартной широкоугольной камеры или телевика в условиях недостаточного освещения, но не в полной темноте (в ней смартфоны активируют ночной режим).

Шаг 2. Смартфон сохраняет в буфер обмена восемь кадров, которые сняты при разных значениях экспозиции.

Шаг 3. Из восьми кадров устройство собирает два референтных, которые будут далее участвовать в обработке.

Шаг 4. Программное обеспечение объединяет эту пару изображений, оценивая каждый отдельный пиксель.

Шаг 5. На выходе получается один сверхчёткий снимок с разрешением 12 МП.

Насколько хорошо Deep Fusion работает в бетах iOS 13.2

Впервые о Deep Fusion мы услышали на презентации линейки iPhone 11 10 сентября 2019 года. Потрогать же своими руками её можно, начиная с первой тестовой версии iOS 13.2. Для этого нужно установить профиль разработчика, а потом обновиться стандартными средствами. Вот что получается:

Да, сейчас работу Deep Fusion видно не всегда, и функционирует он не на 100% идеально. Тем не менее, нужно учитывать, что эти снимки выполнены с использованием именно тестовой версии операционной системы iOS 13.2. Более того, фишка обучаемая, поэтому будет становиться только лучше.

Deep Fusion и другие фичи доступны только на iPhone 11

Уже сегодня встречаю возмущения по поводу того, что Deep Fusion и другие фишки для стандартной «Камеры» предназначены только для iPhone 11, 11 Pro и 11 Pro Max. Почему-то все уверены, что их можно было бы без каких-то проблем добавить хотя бы в прошлогодние смартфоны: iPhone XR, iPhone XS и XS Max. Тут же всплывает мнение по поводу маркетинговой машины Apple, которая двигается вперёд и сносит всё на своём пути. Компания буквально заставляет нас покупать новые смартфоны, не добавляя в старые настолько интересные функции. Многие уверены, что это очень подло.

У меня есть два аргумента, которыми можно парировать подобные выводы. Начнём с того, что никто не обещал, что вы будете получать новые фишки для старых смартфонов. Лично я и без того очень рад, что Apple поддерживает все свои гаджеты не меньше нескольких лет, и в них регулярно появляются все новые и новые программные фишки. Да, у новинок их обычно больше, но на то они и новинки. В мире Android ситуации приблизительно аналогичная, только срок поддержки устройств обычно заметно ниже — не думаю, что будете спорить с этим фактом. Это первый аргумент.

Второй же касается непосредственного использования приложения «Камеры» на iPhone 11, опытом использования которого я, уверен, ещё поделюсь с вами. В это время он ощутимо нагревается. Скорее всего, в данный момент его процессор работает чуть ли не на 100%, чтобы склеивать снимки с подробным анализом каждого пикселя для получения максимально интересного результата. Быть может, это не фича, а баг тестовой версии iOS 13.2, но лично меня компании Apple удалось убедить, что мой предыдущий iPhone XS Max не потянул бы эту возможность.

В ближайший год моим главным фотоаппаратом и основной видеокамерой окажется именно iPhone 11. Надеюсь, мне хватит 128 ГБ памяти для всех снимков, которые я планирую сделать в путешествиях и на выставках. Впереди ещё очень много интересного, поэтому обязательно оставайтесь с нами.

Источник