Deep fusion iphone 11 pro что это

Deep Fusion в камере iPhone 11 и 11 Pro: что это, как работает и как включить?

На презентации iPhone 11 и iPhone 11 Pro компания Apple поведала о появлении новой технологии Deep Fusion. Вице-президент по маркетингу, Фил Шиллер, назвал ее «безумной наукой вычислительной фотографии». Но оценить Deep Fusion в действии пользователи смогли только с выходом iOS 13.2.

Что делает Deep Fusion при съемке фото в iPhone?

Новшество предназначено для автоматического создания и улучшения снимков. Принцип действия этой технологии чем-то напоминает HDR. Камера iPhone создает несколько снимков с разной экспозицией и комбинирует их для обеспечения максимальной детализации. Участие в обработке принимает нейросеть. Но если HDR предназначена для расширения динамического диапазона и повышения детализации в тенях, то Deep Fusion позволяет улучшить общую детализацию снимков.

После нажатия и до срабатывания кнопки затвора камера самостоятельно делает три снимка, установив для них короткую выдержку. А уже после первого этапа съемки – еще 4 кадра, один из них с длинной выдержкой. Все эти 7 снимков обрабатываются попиксельно и объединяются на основе лучших вариантов. Такая работа позволяет увеличить детализацию, убрать шумы, засветы и перетемненные участки. На выходе получается максимально бесшумный и четкий снимок.

Как включить автоматическое улучшение фотографии Deep Fusion на iPhone?

Чтобы функция Deep Fusion работала, перейдите по пути Настройки → Основные → Камера и отключите опцию «Захват фото вне кадра». Впоследствии функция автоматически будет применяться аппаратом во время съемки в зависимости от условий.

Блогер Тайлер Стейльман одним из первых протестировал работу Deep Fusion на своем iPhone 11. Объектом для съемки он выбрал самого себя. Для сравнения блогер привел фото с включенной Smart HDR. На увеличенных фрагментах снимка нетрудно увидеть, что с помощью Deep Fusion намного лучше передана детализация бороды (видны даже волоски), структура кожи и узор рубашки.

Стейльман заметил, что вырос и размер файла. Если снятый на iPhone XR снимок Smart HDR занимает 1,4 МБ в формате HEIC, то на iPhone 11 аналогичный кадр, обработанный Deep Fusion, займет уже 2,6 МБ.

Какие iPhone поддерживают Deep Fusion?

Поддержка технологии Deep Fusion предусмотрена только в iPhone 11, 11 Pro и 11 Pro Max и более новых моделях смартфонов Apple. Это легко объяснить – обработкой снимкой занимается новый 8-ядерный нейронный движок, установленный в процессор A13. Он присутствует только в новых моделях iPhone.

Источник

Как отключить Deep Fusion в iPhone 11, чтобы он перестал портить фотографии

Две недели я тестирую iOS 13.2 с функцией Deep Fusion на iPhone 11 Pro. Помимо типичных багов бета-версии, меня очень раздражает появившаяся в ней фича камеры одиннадцатых айфонов.

Deep Fusion, который так хвалила Apple на официальной презентации в сентябре, пока не готов. Как функция и как инструмент.

Если так пойдёт и дальше, владельцы всех новых iPhone с iOS 13.2 будут удивлены существенным изменением фотографий камеры, часто в худшую сторону. Apple не дала очевидного способа «вернуть как было».

Так что на всякий случай пишу этот пост. Потому что переключателя Deep Fusion НЕТ ни в настройках, ни в видоискателе камеры.

Отключаем Deep Fusion в iPhone 11, пока Apple его допиливает

Это надо включить.

▪ Открываем Настройки -> Камера
▪ Ищем пункт Захват фото вне кадра
▪ Включаем его.

Что мы сейчас сделали: включили съёмку фото сразу с двух задних камер. Теперь при спуске затвора в память iPhone сохраняется не одна, а фактически две фотографии: с основного и сверхширокоугольного объективов одновременно.

Это полезная фича, с ней в приложении Фото сможете вручную увеличить область уже сделанного кадра (например, если случайно «обрезали» чей-то лоб). iOS также использует машинное обучение, обрабатывая эти двойные фотографии – и иногда самостоятельно перекадрирует фото, если решит, что оно так лучше смотрится.

Почему это отключает Deep Fusion: для Захвата фото вне кадра используется сверхширокоугольная камера, которая не поддерживает функцию Deep Fusion. Нет поддержки, нет функции, всё логично.

Что мне не нравится в Deep Fusion

Три причины, которые могут улетучиться к финальному релизу iOS 13.2, а могут и остаться – кто знает, что там в Apple придумают.

1. Ударно повышается чёткость кадра, доводится почти до абсурда. Я понимаю, когда какой-нибудь Samsung или Huawei яростно перешарпивает кадр, чтобы он выглядел дерзко и мега-сочно на экране смартфона. Но Apple, ты-то куда?

Резкость фото повышается с такой силой, что у всех небольших объектов, полос и линий (особенно у текста) появляются фантомные очертания и световые ореолы, которых на самом деле не было.

2. Сильно выкручивается контрастность фотографии, будто ослабляя эффект Smart HDR. Легче всего это заметить при включенном Live Photo, где эффект Deep Fusion накладывается только на избранный кадр из всей цепочки-анимации.

Вместо немного плоского, но равномерно детального и яркого фото, оно будто откатывается во времена iPhone X: слишком яркие света, подозрительно тёмные тени. Часто меняется сам акцент фотографии, смещаясь в сторону сильнее освещённого объекта.

3. Вы никогда не угадаете, как сработает Deep Fusion. Пересматриваешь потом фото и не понимаешь: неужели было так темно? Что случилось с цветом этого дерева, почему оно резко стало таким тёмным? А тут почему сплошь белый дом стал таким грязным?

В видоискателе Камеры не видно, какой станет фотка после сохранения в память и машинной обработки Deep Fusion. Постоянно начинаешь гадать, испортит ли Deep Fusion кадр или улучшит. А сравнить с тем, как было на самом деле, можно только через Live Photo.

Ну нельзя так яростно решать за пользователя, это перебор. То, что я вижу в видоискателе, должно таким оставаться и в Фотоплёнке.

Или сделайте уже нормальный переключатель там, дайте вернуть как было. Короче, допиливать фичу надо.

P.S. Хорошее замечание от читателя Tomasz:

Это не отключает Deep Fusion, с этим будет лишь видно, когда он работает, а когда нет. Если работает, то та область экрана, где сверхширик отображается – потемнеет.

Так что следите за рамками видоискателя, если они чёрные, то Deep Fusion всё равно включён в данный момент.

Источник

Как использовать Deep Fusion в камере на iPhone 11

С выходом iOS 13.2 Apple, как и обещала, включила функцию Deep Fusion в камере iPhone 11. Сама компания называет ее «безумной компьютерной фотографией», а по факту это продвинутая система обработки изображений, которая использует сопроцессор Neural Engine в A13 Bionic для склейки нескольких фото в одно с улучшенной цветопередачей, детализацией и меньшим количеством шумом при слабом освещении.

Однако, в отличие от Ночного режима и других параметров съемки, вы не увидите никаких индикаторов того, что Deep Fusion активен. Apple это сделала специально — дескать, пускай за вас работает умная автоматика. Однако все-таки включить этот режим можно, если задать в настройках iPhone определенные параметры и снимать при определенной освещенности.

Для начала убедитесь, что у вас выполняются все четыре пункта:

1. Ваш iPhone 11 обновлен до iOS 13.2.
2. Параметр «Захват вне кадра» в Настройках > Камера отключен.
3. Вы используете широкоугольный или телеобъектив (1x или больше в приложении Камера).
4. Вы не снимаете серию фотографий.

Однако и это еще не все — в зависимости от освещенности, iPhone будет выбирать между Smart HDR и Deep Fusion:

• С широким (стандартным) объективом в условиях яркого освещения будет использоваться Smart HDR, в то время как Deep Fusion активируется для сцен со средним и слабым освещением (ночной режим, естественно, включается при съемке с недостаточным освещением).
• Телеобъектив, как правило, использует Deep Fusion, за исключением яркого освещения, когда начинает работать Smart HDR.
• С ультрашироким объективом Deep Fusion никогда не работает, вместо этого используется Smart HDR.

Источник

Что такое Deep Fusion: как Apple прокачала камеру в iPhone 11

Весь последний год я пользовался iPhone XS Max на 256 Гб с двумя физическими SIM-картами. Сначала даже не думал менять его на что-то более новое. Но обстоятельства сложились так, что махнул его на простой iPhone 11 на 128 ГБ. Меня не смущает менее крутой и мелкий экран, а вот камера радует.

Дело в том, что я очень давно отказался от отдельного фотоаппарата как в работе, так и в личной жизни. Подавляющее большинство снимков даже в моих статьях сделано на мобильные устройства — почти всё на смартфоны Apple разных поколений. Очередной шаг вперёд в возможностях съёмки — это для меня очень важно. Конечно, было бы круче взять iPhone 11 Pro, но телевик мне нужен один раз в год. Решил, что цена не оправдана, и более подробно об этом я расскажу в отдельной статье. Если кратко, обновил не только смартфон, но и умные часы — доплата при этом практически не понадобилась.

Одним из главных нововведений свежей линейки iPhone оказалась именно новая система камер. В iPhone 11 используется два модуля по 12 Мп каждый — один широкоугольный с размером диафрагмы ƒ/1.8, второй сверхширокоугольный на ƒ/2.4. В iPhone 11 Pro и 11 Pro Max также используется телеобъектив на 12 Мп и с размером диафрагмы ƒ/2.0. Все камеры расположены максимально близко друг к другу, несмотря на спорный внешний вид самой системы на задней панели, чтобы максимально гладко переключаться между ними. Создаётся ощущение, что используется подвижный объектив, как на больших камерах.

Тем не менее, куда важнее программные механизмы, которые используются в новых смартфонах Apple. Они работают на базе нового процессора Apple A13 Bionic. Это ночной режим, Smart HDR нового поколения, а также режим Deep Fusion, на котором мы отдельно заострим внимание немного дальше.

10 новых фишек для съёмки, которые появились в iPhone 11

1. Сверхширокоугольная камера. Дополнительная камера в смартфонах Apple появилась ещё в iPhone 7 Plus в 2016 году — он стал одним из первых мобильных устройств с двумя «глазками» на задней части корпуса. Именно этот гаджет создал настоящий тренд, который быстро подхватили все конкуренты. Дополнительным модулем iPhone 7 Plus оказался телевик для имитации оптического зума. Переключаясь на эту камеру, вы приближали изображение в видоискателе в два раза практически без потери качества. Это могло пригодиться для съёмки деталей архитектуры, животных, природных явлений.

Apple использовала телевик в смартфонах до 2019 года. Он появлялся в iPhone 8 Plus, в iPhone X, в iPhone XS и XS Max. Аналогичный модуль используется также в iPhone 11 Pro и 11 Pro Max, но главная фишка новой линейки сверхширокий угол. Камера с обзором на 120 градусов на 12 Мп стала одной из самых интересных особенностей всей линейки iPhone 11. С помощью неё круто делать фото архитектуры вблизи, снимать внутри помещения и не только. Уверен, этот модуль куда интереснее телевика, так как подойти к объекту съёмки бывает проще, чем отойти от него.

Жаль только, что сверхширокоугольный объектив смартфона получил диафрагму ƒ/2.4. Этого недостаточно для получения качественных снимков в условиях недостаточного освещения — на это нужно обратить повышенное внимание. Аналогичная ситуация ранее была и с телевиком, но потом это исправили.

2. Увеличенная диафрагма телефото. В iPhone всегда был достаточно «тёмный» телевик. Например, в iPhone XS и XS Max размер его диафрагмы находился на уровне ƒ/2.4, чего достаточно мало для съёмки в помещении, а также на улице в вечернее время. Это не просто наши наблюдения, в этом всегда была уверена и Apple. Дело в том, что при использовании двукратного «оптического» приближения в условиях недостаточного освещения смартфон автоматически переключался на основную камеру. В итоге вы фактически получали двукратный цифровой зум, который сильно портил качество итогового изображения.

Нет, вы конечно могли принудительно использовать и телевик, но сделать это можно было только с помощью сторонних приложений — некоторые из них даже давали возможность фотографировать на две камеры одновременно. Тем не менее, это не отменяло того огромного числа шумов в телекамере.

Хорошо, что в iPhone 11 Pro и 11 Pro Max размер диафрагмы увеличили с ƒ/2.4 до ƒ/2.0. Apple обещает, что теперь переключений на основную камеру не будет, и телевик будет всегда отыгрывать свою роль на 100%. В этом нам ещё предстоит убедиться.

3. Более яркая вспышка True Tone. В актуальных iPhone используется интересный модуль вспышки, который состоит из нескольких светодиодов разной температуры. Это нужно для того, чтобы сделать кадр с его использованием более реалистичным. В новых смартфонах диоды стали более яркими.

4. Специальный ночной режим. Он работает на базе технологий машинного обучения и даёт возможность получить снимки максимально высокого качества даже в условиях крайне скудного освещения. Для этого используется имитация длинной выдержки и склеивание в один отдельных кадров.

5. Smart HDR нового поколения. Этот режим используется в условиях сложного освещения — например, против солнца. Обычно в этом случае некоторые участки снимка оказываются слишком тёмными, а другие пересвеченными. Данная функция как раз и нужна для того, чтобы всё исправить.

6. Особый режим Deep Fusion. С помощью этой технологии последние модели iPhone делают несколько снимков и склеивают их вместе. Благодаря этому значительно увеличивается детализация итогового изображения — это особенно хорошо видно на текстурах любых материалов.

7. Видео в HDR при 60 FPS. Ранее использовать расширенный динамический диапазон можно было только при съёмке видео с частотой 30 кадров в секунду. За счёт производительного процессора Apple A13 Bionic эту цифру удалось увеличить вдвое — до 60 кадров в секунду.

8. Аудиозум для контроля звука. Новые смартфоны Apple получили возможность регулировать громкость звука от объектов, которые находятся в видоискателе. Те, что расположены в фокусе, будут громче, остальные тише. Это создаёт ощущение присутствия в конкретной локации.

9. Фронтальная камера на 12 Мп. В iPhone XS и XS Max Apple использовала модуль фронтальной камеры на 7 Мп. В новинках компания заменила его сенсором с увеличенным разрешением, с помощью которого сделала следующий шаг в детализации ваших селфи.

10. Запись 4K-видео на фронталку. Записывать видео с помощью фронтальной камеры теперь можно в разрешении до 4K. Для этого можно использовать частоту 24, 30 или 60 кадров в секунду. Это круто, если вы планируете использовать iPhone за записи видеоблогов.

Deep Fusion — главное нововведение в приложении «Камера»

Режим Deep Fusion предназначен для того, чтобы увеличить детализацию снимков даже в самых спорных условиях внешнего освещения — не ночью, ведь для этого времени суток есть отдельный режим. Для этого любой гаджет из модельного ряда iPhone 11 делает сразу восемь снимков с разной экспозицией, почти как в случае со Smart HDR. После этого он собирает два фото, которые будут базовыми, и помещает их в буфер обмена. Дальше режим изучает каждую точку данных изображений с помощью искусственного интеллекта, а также следит за деталями, шумом и другими параметрами кадра.

Всё это нужно для того, чтобы определить, какой участок фото оставить в первозданном виде, к какому из них применить повышенную резкость, а какой из них нуждается в агрессивном шумоподавлении. В итоге получается один готовый снимок, который должен выглядеть более круто и проработано.

Вы должны понимать, что управлять этим режимом вручную нельзя. Это не функция, которую можно включить или выключить, а специальный умный алгоритм, который работает без постороннего вмешательства. Единственное, чем больше фоток вы будете делать, тем круче будет результат — это же нейронные сети.

Новый Smart HDR и Deep Fusion работают по похожему принципу, но у них абсолютно разные цели. Первый нужен для того, чтобы компенсировать сложные условия освещения, а второй — для повышения детализации итоговых снимков. Да, они склеивают несколько снимков в один, но результат будет разным.

Есть мнение, что Deep Fusion — это простой перешарп, который можно повторить с помощью «Фотошопа». Но на деле это не так. При повышении резкости снимок начинает выглядеть менее реалистично. А вот с Deep Fusion другая история — он добавляет детали более бережно.

Для работы функции Deep Fusion нужно 5 простых шагов:

Шаг 1. Вы делаете фотографию на iPhone 11 или iPhone 11 Pro с помощью стандартной широкоугольной камеры или телевика в условиях недостаточного освещения, но не в полной темноте (в ней смартфоны активируют ночной режим).

Шаг 2. Смартфон сохраняет в буфер обмена восемь кадров, которые сняты при разных значениях экспозиции.

Шаг 3. Из восьми кадров устройство собирает два референтных, которые будут далее участвовать в обработке.

Шаг 4. Программное обеспечение объединяет эту пару изображений, оценивая каждый отдельный пиксель.

Шаг 5. На выходе получается один сверхчёткий снимок с разрешением 12 МП.

Насколько хорошо Deep Fusion работает в бетах iOS 13.2

Впервые о Deep Fusion мы услышали на презентации линейки iPhone 11 10 сентября 2019 года. Потрогать же своими руками её можно, начиная с первой тестовой версии iOS 13.2. Для этого нужно установить профиль разработчика, а потом обновиться стандартными средствами. Вот что получается:

Да, сейчас работу Deep Fusion видно не всегда, и функционирует он не на 100% идеально. Тем не менее, нужно учитывать, что эти снимки выполнены с использованием именно тестовой версии операционной системы iOS 13.2. Более того, фишка обучаемая, поэтому будет становиться только лучше.

Deep Fusion и другие фичи доступны только на iPhone 11

Уже сегодня встречаю возмущения по поводу того, что Deep Fusion и другие фишки для стандартной «Камеры» предназначены только для iPhone 11, 11 Pro и 11 Pro Max. Почему-то все уверены, что их можно было бы без каких-то проблем добавить хотя бы в прошлогодние смартфоны: iPhone XR, iPhone XS и XS Max. Тут же всплывает мнение по поводу маркетинговой машины Apple, которая двигается вперёд и сносит всё на своём пути. Компания буквально заставляет нас покупать новые смартфоны, не добавляя в старые настолько интересные функции. Многие уверены, что это очень подло.

У меня есть два аргумента, которыми можно парировать подобные выводы. Начнём с того, что никто не обещал, что вы будете получать новые фишки для старых смартфонов. Лично я и без того очень рад, что Apple поддерживает все свои гаджеты не меньше нескольких лет, и в них регулярно появляются все новые и новые программные фишки. Да, у новинок их обычно больше, но на то они и новинки. В мире Android ситуации приблизительно аналогичная, только срок поддержки устройств обычно заметно ниже — не думаю, что будете спорить с этим фактом. Это первый аргумент.

Второй же касается непосредственного использования приложения «Камеры» на iPhone 11, опытом использования которого я, уверен, ещё поделюсь с вами. В это время он ощутимо нагревается. Скорее всего, в данный момент его процессор работает чуть ли не на 100%, чтобы склеивать снимки с подробным анализом каждого пикселя для получения максимально интересного результата. Быть может, это не фича, а баг тестовой версии iOS 13.2, но лично меня компании Apple удалось убедить, что мой предыдущий iPhone XS Max не потянул бы эту возможность.

В ближайший год моим главным фотоаппаратом и основной видеокамерой окажется именно iPhone 11. Надеюсь, мне хватит 128 ГБ памяти для всех снимков, которые я планирую сделать в путешествиях и на выставках. Впереди ещё очень много интересного, поэтому обязательно оставайтесь с нами.

Источник