Как работает режим астрофотографии в фирменном приложении Google «Камера»
Одной из самых интересных новых функций, которой может похвастаться смартфон Google Pixel 4, несомненно, является режим астрофотографии, позволяющий делать впечатляющие снимки звездного неба по ночам.
Ранее компания Google уже упоминала о том, как она работает, но теперь она опубликовала в своем блоге более подробную информацию о новом режиме съемки.
Прежде всего, компания отмечает, что режим астрофотографии на Pixel 4 позволяет делать снимки с выдержкой до 4 минут. Эта функция также доступна в сериях Pixel 3 и Pixel 3a, но них она обеспечивают выдержку не более одной минуты.
Google объясняет, что одной из самых больших проблем реализации столь высокой выдержки является то, что она может привести к значительному размытию изображений на снимке. Это «размытые в движении облака и (качающиеся на ветру) ветви деревьев на фотографии, которая в остальном выглядит резкой, а также размытые в движении звезды, которые выглядят как короткие отрезки», — объясняет компания.
Чтобы решить эту проблему разработчики разделили экспозицию на отдельные кадры с достаточно коротким временем экспозиции, что позволяет звездам выглядеть как точки света». Было выяснено, что идеальное время экспозиции для каждого кадра при съемке ночного неба составляет 16 секунд, поэтому приложение Камера Google объединяет 15 кадров (каждый продолжительностью в 16 секунд), в единый снимок, имеющий в итоге четырехминутную общую экспозицию.
Еще четыре проблемы
Компании при работе над режимом астрофотографии столкнулась с проблемой теплых / горячих пикселей. Теплые или горячие пиксели высвечиваются при длительной экспозиции, и выглядя как крошечные яркие точки на изображении (даже если на сцене фактически нет столь ярких точек). Google заявляет, что ей удалось идентифицировать эти яркие точки, «сравнивая значение соседних пикселей» в кадре, а также во всех захваченных кадрах снимка.
Как только Камера находит горячий пиксель, она скрывает его, заменив яркость в этой точке на среднее значение соседних пикселей. Ниже вы видите пример снимка с горячими пикселями (слева) и конечное фото без них (справа).
Вторая проблема, которую Google пришлось решать, при создании режима астрофотографии, — это композиция сцены. Видоискатель камеры телефона обычно обновляет изображение 15 раз в секунду, но это становится проблемой ночью.
«При уровнях освещенности ниже света, излучаемого полной луной, изображение в видоискателе становится в основном серым, возможно, с несколькими яркими звездами, но без ландшафта, что делает процесс съемки весьма затруднительным», — объясняет Google. Решение состоит в том, чтобы отображать на экране последний снятый кадр в режиме астрофотографии (изображение справа ниже).
Автофокус — это еще одна проблема, когда речь заходит о режиме астрофотографии на Pixel 4, так как при крайне слабом освещении зачастую невозможно найти что-либо, на чем можно сфокусироваться. Решение Google — это так называемая техника «автофокусировки после срабатывания затвора».
При Камера использует для автофокуса два кадра, каждый из которых снимается после нажатия кнопки спуска затвора, и используется для обнаружения любых деталей, на которые стоит сфокусироваться (хотя эти кадры не используются для окончательного изображения). Фокус устанавливается на бесконечность, если система автофокусировки после срабатывания затвора все еще не может найти ничего, что можно использовать. При этом пользователи всегда могут вместо этого вручную сфокусироваться на нужном предмете.
Последним препятствием для Google было обеспечение правильной передачи уровней освещения неба: «Мы ожидаем, что ночью небо будет темным. Если на снимке, сделанном ночью, видно яркое небо, мы воспринимаем его как дневную сцену, возможно, с немного необычным освещением».
Решение проблемы, найденное Google, состоит в том, чтобы использовать технологии искусственного интеллекта (машинное обучение) для того, чтобы затемнять небо в условиях низкой освещенности. При этом Google использует нейронную сеть, обученную на более чем 10 000 изображений, чтобы идентифицировав ночное небо, затемнять его.
Способность распознавания ночного неба также используется для уменьшения шума на снимках и увеличения контраста в определенных случаях (например, облаков или Млечного пути). На снимках выше, слева вы видите первоначальный результат а справа — обработанный искусственным интеллектом.
Все перечисленное выше в совокупности и дает возможность получать фантастические порой результаты при съемке ночного неба на камеру телефона.
Напомним, что Камеру Google вы можете использовать не только на смартфонах Pixel, но и на устройствах других производителей. Для этого вам нужно будет установить себе одну из её модификаций, которые в большом количестве публикуются на этом сайте. Конечно, при этом нет никакой гарантии, что все функции оригинально приложения у вас будут работать.
Источник
Астрофотография на Pixel 4: Как это работает?
А вы знали что на смартфон можно сделать такое фото? Посмотрите, что может Pixel 4.
На самом деле я вас немного обманул и это фото сделано на iPhone 11 Pro, а вот снимок при тех же условиях на Pixel 4.
Как такое стало возможным? Попробуем разобраться!
Классический астрофотограф — это человек со штативом, с хорошей дорогой камерой, желательно полнокадровой, находящийся где-то далеко от цивилизации, то есть с минимумом светового мусора вокруг. И самое главное — с багажом знаний и умений.
Но сегодня всё больше сложных вещей становятся простыми, и с тем же Pixel и обновленной Google Camera каждый может стать немного астрофотографом — но для этого по-прежнему понадобится штатив и темнота — остальные пункты можно вычеркнуть.
Вот несколько кадров на Pixel 4 XL, и сейчас я расскажу как их сделать самому и как все работает внутри. Что самое интересное — на самом деле, это может почти каждый Android-смартфон.
Но вернемся к подготовке к снимку. Почему я твержу о темноте, потому что это действительно важно! Спросите себя — как часто вы видите звезды, например, в Москве или в другом крупном городе. Даже в безоблачную погоду максимум, что можно разглядеть это ковш большой медведицы, и то не всегда — остальные звезды не видно из-за огромного количества света, который выделяют города. Если же вы хотите узнать, где лучше видно звёзды — зайдите на сайт www.lightpollutionmap.info. По карте светового загрязнения можно понять насколько далеко надо уехать.
Подготовку закончили, штатив есть, темноту нашли, не забываем и про погоду, облака тоже могут всё испортить — теперь разберемся как сама магия происходит.
В камерах чаще всего идет работа с длинными выдержками, а решающими факторами может стать оптика и размер матрицы, и уже далее идёт кропотливая постобработка на компьютере . Астрофото на Pixel 4 и Pixel 4 XL — это отдельная функция и она имеет немного другие принципы. Главное — все должно делаться на автомате по одному нажатию — в этом и магия!
Google называет этот режим HDR+ на стероидах. То есть технически астрофотография — это не развитие ночного режима, а разновидность стандартного режима для дневных снимков, что забавно!
Для тех кто не смотрел наш подробный разбор технологии HDR+ напоминаю: в этом режиме делается несколько снимков с короткой экспозицией. Потом они объединяются с усреднением цвета каждого пикселя, что позволяет убрать шумы и подтянуть тени. И вуаля. Мы получаем чистую картинку с широким динамическим диапазоном.
Режим астрофотографии делает почти тоже самое, только теперь экспозиция каждого кадра становится длинной и длится аж до 15 секунд. При этом количество кадров достигать шестнадцати.
Суммарно это дает экспозицию в 4 минуты, за которые телефон способен собрать много света, даже от невидимых для человеческого глаза звёзд! Но чтобы всё заработало телефон необходимо надежно зафиксировать на штативе или просто куда-нибудь положить. Иначе режим просто не включится. В настройках камеры даже нет отдельного режима. Тогда как это работает?
Если камера находится в ночном режиме, смартфон сам определяет, что его поставили на штатив и появляется уведомление, что включен режим астрофотографии.
Вы скажете, что это не серьёзно! Если снимать целых 4 минуты, да ещё и на штативе — любой телефон сможет сделать крутой ночной снимок. Но это не совсем так!
Дело в том, что у всех цифровых матриц, особенно у маленьких, есть большая проблема — при длинных выдержках многие пиксели на матрице, условно говоря, перегреваются и превращаются в белые точки. Которые, в нашем случае, довольно сложно отделить от настоящих звезд.
И может быть в некоторых компаниях решили бы: “так даже лучше — будет больше звёзд на небе!” Но команда Gcam пошла другим путём и научилась математически вычислять горячие пиксели, и удалять их, а не звёздочки.
И так мы получили много света, удалили горячие пиксели — осталось дело за малым, надо объединить полученные снимки, как это всегда делал алгоритм HDR+.
Но появляется другая проблема. Мы можем зафиксировать телефон, но не нашу планету, которая постоянно вращается, и соответственно, звезды перемещаются по небу. В результате, если мы просто склеим снимки получится скорее снимок с лайттреками или же в буквально смысле «земля уйдёт из-под ног».
Поэтому в дело вступает наша любимая семантическая сегментация, в которую Google тоже умеет! Небо отделяется от Земли и каждый из участков фотографии выравнивается и обрабатывается по-своему. В результате чего мы получаем чистое сияющее ночное небо и детализированный земной пейзаж.
Да-да, всё это очень прикольно, но где мне найти звёздное небо? Я же в городе живу, скажете вы. Самое интересное, этот режим отлично работает и для обычной ночной фотографии. Причем качество снимков получается сравнимое с полноценным большим фотоаппаратом.
Правда в этом случае смартфон снимает часто меньше 4 минут — где-то 2-3 и любопытно что результат получается почти такой же как и на iPhone 11 Pro с выдержкой всего 20-30 секунд. Можете сами изучить кадры по ссылке.
И в завершении моё самое любимое. Ведь перед нами чисто софтверная история. А значит можно просто накатить порт последней Google Camera на свой Android-смартфон и наслаждаться звездным пейзажем!
Благодарим за помощь в создании материала нашего друга Антона Евстратенко.
Источник
Google камера (GCam) — 7.3.018_v1.2
«Google камера» — версия: 7.3.018_v1.2
Приложение «Google камера» серии 7.3 версии 1.2 имеет опцию переключения модулей камеры. Это позволяет делать фотоснимки отдельно на любой объектив основной камеры — “Главный”, “Широкоугольный” или “Телеобъектив”. Эта «Google камера» дополнена функцией постобработки изображения позволяющая ручную корректировку Резкости, Контрастности, Насыщенности, Подавления яркостного и цветного шумов раздельную для каждого модуля основной камеры.
Режим “Ночная съемка” модифицирован и теперь имеет опцию “Астрофотография”, причем с быстрым и удобным управлением с экрана видоискателя. Режим [AWB] имеет дополнительные патчи библиотек Pixel 2, Pixel 3 и IMX586. Количество кадров “расширенного HDR+” можно установить 9, 15 или 25 кадров. Зуммирование в режиме “Портрет” по желанию отключается и включается. При съемке “селфи” на фронтальную камеру можно отключить зеркальное отображение фото и сохранять снимки в исходном виде.
📹 Возможности видеосъемки
Видео эта «Google камера» может снимать с частотой кадров 24, 30 и 60fps в режиме Full-HD. Более того теперь битрейт видео можно устанавливать желаемой величины в пределах от 10 до 100Мбит/c. Ускоренное видео можно снимать в режиме Ultra-HD с разрешением 4К. И конечно в этой версии «GCam» можно создавать “Движущиеся фотографии” и делать GIF-файлы “Живые фото”.
✔ Особенности версии «GCam» — 7.3.018_v1.2
- Мод основан на версии: «Google Camera» — 7.3.018.291816413
- Исправлен сбой при включении RAW
- Добавлены иконки AWB и Астрофотография в панель быстрых настроек
- Добавлена возможность менять битрейт
- Исправлена астрофотография на OnePlus 7
- Добавлена возможность установить TimeLapse 4K
- Добавлен lib patcher
- Исправлен HDR+ Enhanced на S9 (Snapdragon)
- Исправлены перевернутые широкоугольные и телеобъективы на Note 10 Plus (Snapdragon)
- Инвертированные значения цветности, чтобы быть более чувствительными к шуму
- Добавлена поддержка Android 9
- Добавлена возможность выбора HDR+ и HDR+ Enhanced в портретном режиме
- Сделан перевод на русский язык
Важно: Для корректной работы данного мода «GCam» твой смартфон обязательно должен поддерживать интерфейс «Camera2 API» и конечно он должен быть активирован. Простой и быстрый способ проверки статуса «Camera2 API» смотри здесь
Процедура установки данного мода «Google камера» несложная и не требует ROOT-прав. Перед установкой этой версии «GCam» необходимо удалить любую ранее установленную «Google камеру» и очистить “кеш” (cache). Чтобы установить эту «Google Камеру» нужно вначале скачать в телефон APK-файл приложения и затем запустить его. Далее пройти стандартный путь установки приложений для Android-устройств. И после запуска «Google камеры» остается кликнуть все запросы нажатиями кнопки — [РАЗРЕШИТЬ] и вуаля, приветствуем новую версию «Google Камеры 7.3» — на борту нашего камерофона!
🛠 Интерфейс «GCam» — 7.3.018_v1.2
Интерфейс приложения стандартный для седьмой «Google камеры». Все режимы, а также большинство быстрых настроек в этой «GCam» не изменились от предыдущей версии за исключением некоторых пунктов.
✔ Опции видоискателя
Если тапнуть экран видоискателя, в этом месте экрана появляется кружок, это включается “Следящий фокус”. Он отслеживает движущийся объект и постоянно удерживает его в фокусе. Это реально помогает при фотографировании детей или животных находящихся в движении. Для отключения “Следящего фокуса” достаточно опять тапнуть в кружок. Одновременно со “Следящим фокусом” открываются органы управления авто-экспозицией и ZOOM-ом. ZOOM этой «Google камеры» позволяет приближать кадр до 3-х крат в режиме “Видео” до 10-ти крат в режиме “Фото”. Рядом с регулятором яркости расположен значок замочка, нажав который можно одновременно заблокировать авто-фокус и авто-экспозицию.
✔ Панель быстрых настроек
Панель быстрых настроек на экране видоискателя открывается сввайпом вниз. Самое интересное отличие этого мода «Google камера» это присутствие функции [Астрофотография] и наличие опции ее включения /отключения в панели быстрых настроек режима [Ночная съемка]. Еще в разделах режимов [Ночная съемка] и [Камера] в меню быстрых настроек теперь есть пункт [Google AWB]. Здесь AWB быстро можно включить, отключить или переключить в авто-режим. В разделе режима [Портрет] имеется пункт [HDR+] с тремя позициями настройки. “HDR+” можно просто отключить или включить, а третий вариант включает режим [Расширенный]. Применив “расширенный режим HDR+” в основных настройках можно включить количество кадров на свое усмотрение: 9, 15 или 25 к/сек. В разделе режима [Видео] можно выбрать частоту кадров 24, 30 или 60fps.
✔ Модули основной камеры
Главное отличие этой модернизированной «Google Камеры» это возможность фотосъемки на любой из трех объективов основной камеры. Для быстрого и удобного оперирования объективами основной камеры можно включить отображение “AUX-кнопок” на экране видоискателя. Кнопки помечены обозначениями [06x], [1x] и [2x]:
- Кнопка [1x] — включает объектив “Главный”.
- Кнопка [06x] — включает объектив “Широкоугольный”.
- Кнопка [2x] — включает объектив “Телевизионный”.
Конечно, за ненадобностью отображения этих кнопок на экране их можно отключить в настройках.
Подробный обзор всех основных параметров и самых интересных функций «GCam» — 7.3.018_v1.2 смотри в специальном видео ▼▼▼
Источник
