Перейти к материалам
истории

iPhone 12 Pro Max — телефон с самой продвинутой системой камер среди айфонов. Ну и что в ней такого продвинутого? Нам понадобился месяц, чтобы разобраться, — и не все открытия оказались приятными

Источник: Meduza
Султан Сулейманов / «Медуза»

iPhone 12 Pro Max выделяется на фоне остальных айфонов этого года не только ценой и размерами экрана (6,7 дюйма!), но и системой камер: здесь и большая матрица для лучших кадров в темноте, и более «портретный» телеобъектив, и особый формат съемки в RAW. Журналист «Медузы» Султан Сулейманов месяц внимательно исследовал возможности 12 Pro Max, чтобы понять, в чем его сильные и слабые стороны.

Глава первая. о том, что поймут все

Новые камеры

Почти весь этот текст будет так или иначе связан с тем, что умеют камеры iPhone 12 Pro Max — потому что, если оставлять за скобками размер экрана, именно камеры отличают эту модель от других, в том числе от меньшего iPhone 12 Pro. Поэтому сначала пройдемся по общим характеристикам.

Самих камер четыре, как было и в прошлогодней Pro-версии: три на задней крышке и одна фронтальная. Функционально они тоже не изменились: классическая основная, со сверхширокоугольным объективом, с телеобъективом, приближающим картинку, и фронтальная TrueDepth.

Основная камера

Главное, что выделяет основную камеру 12 Pro Max на фоне камер других айфонов, включая модели 2020 года, — увеличенная матрица. Она на 47% больше при том же разрешении в 12 мегапикселей. Это значит, что увеличились сами размеры пикселей в матрице, что, в свою очередь, означает, что такая камера захватывает больше света — то есть лучше справляется в условиях плохой освещенности.

Султан Сулейманов / «Медуза»

Выросла и светочувствительность матрицы (ISO) — с максимальных 3072 в прошлогоднем iPhone 11 Pro Max до 7616 в 12 Pro Max. Камера также получила объектив с диафрагмой f/1,6 вместо прежнего f/1,8 — это тоже в лучшую сторону скажется на возможностях съемки при плохом освещении.

Наконец, основная камера в 12 Pro Max получила стабилизацию изображения сдвигом матрицы — по идее, это позволит быстрее и качественнее компенсировать дрожание рук при съемке, чем при использовании сдвига линз, как в других камерах этого и остальных айфонов. Это опять же особенно важно при съемке ночью или при плохой освещенности.

Как объясняют разработчики профессионального приложения камеры Halide, лучше всего возможности новой системы стабилизации видны, когда вы снимаете ночью, но без включенного ночного режима: в таком случае выдержка становится достаточно длинной, чтобы смазать весь кадр от легкого движения руки. На iPhone 12 Pro именно так и происходило, тогда как стабилизация в 12 Pro Max позволяла получать четкие кадры.

Султан Сулейманов / «Медуза»

Телефото

Еще одна уникальная для айфонов камера — та, что приближает изображение. В 12 Pro Max установлен объектив с увеличением в 2,5 раза, а не в 2 раза, как в 12 Pro и моделях прошлых лет.

Разница на первый взгляд не такая большая (особенно если сравнивать с Android-телефонами, которые готовы предложить и 10-кратное, и 50-кратное увеличение), но к ней и не стремились: Apple лишь отмечает, что новый объектив должен позволить лучше построить кадр при портретной съемке.

За улучшенный зум и близость к портретным объективам пришлось заплатить светочувствительностью: у телеобъектива в 12 Pro Max диафрагма f/2.2, хотя в 12 Pro и 11 Pro Max была f/2.0. Матрица при этом осталась неизменной, отмечают в Halide. Иными словами, снимать при плохом освещении этой камерой будет труднее, чем даже на прошлогоднем 11 Pro Max.

Правда, если света в кадре становится недостаточно, айфон — как и прежде — автоматически переключается с собственно телефотокамеры на изображение с основной (картинку при этом обрезают до соответствующего размера, чтобы замаскировать переход).

Сверхширокоугольная камера

Эта камера практически не изменилась с прошлого года: угол зрения, разрешение, диафрагма, отсутствие автофокуса (он по большому счету и не очень нужен) остались такими же. Совсем немного выросла чувствительность — с 2016 ISO до 2304.

Султан Сулейманов / «Медуза»

Главные изменения тут скрываются на стороне программного обеспечения: сверхширокоугольная камера во всех айфонах 12-й линейки получила возможность съемки в ночном режиме, а также коррекцию искажений, которые часто возникают по краям кадра. Кроме того, в 12 Pro и 12 Pro Max эта камера научилась снимать в RAW, формате, который сохраняет «сырые» данные с сенсора. Подробнее про RAW мы расскажем ниже, а пока просто отметим, что такой возможности раньше не было даже у сторонних приложений камеры.

Фронтальная камера

Сама фронтальная камера вообще никак не изменилась, но у нее тоже появились две дополнительные программные опции: ночной режим и возможность снимать в RAW.

Съемка видео

Камеры по-прежнему снимают видео в разрешении 4K до 60 кадров в секунду, но теперь еще и могут записывать HDR-видео в формате Dolby Vision. У таймлапсов появился ночной режим: если установить телефон на штатив или другую неподвижную поверхность, камера начнет захватывать видео с более длинной выдержкой.

Слоу-мо осталось прежним — до 240 кадров в секунду. Слоуфи, то есть слоу-мо на селфи-камере, никуда не делось.

Читайте также

Владельцы айфонов кружатся и шевелят губами в замедленной съемке. Все нормально — просто они делают слоуфи

Читайте также

Владельцы айфонов кружатся и шевелят губами в замедленной съемке. Все нормально — просто они делают слоуфи

Глава вторая. Чуть сложнее

LiDAR. Еще одна камера

На квадратном блоке с камерами в iPhone 12 Pro и 12 Pro Max расположен еще один небольшой глазок — это сканер LiDAR (для простоты будем называть его лидаром). Лидар — тоже своего рода камера, только она фиксирует не свет, отраженный от объектов в кадре, а расстояние до этих объектов. Для этого сенсор быстро испускает пучки инфракрасного света и замеряет, через какое время свет вернется назад: чем больше времени прошло, тем дальше объект.

Что-то похожее делает камера TrueDepth, установленная в «челке» над экраном у последних моделей айфонов: она тоже излучает матрицу инфракрасных точек, когда вы пытаетесь разблокировать устройство. Только, как объясняют в этом ролике iFixit, камера TrueDepth анализирует искажения, которые возникают в матрице инфракрасных точек, когда те ложатся на лицо пользователя, и таким образом делает вывод о форме этого лица — владелец ли это устройства или посторонний человек. Лидар же именно замеряет расстояние, и делает это на расстоянии до нескольких метров.

Другое отличие — точность анализа. Если точности TrueDepth хватает, чтобы отличать даже близнецов (пусть и не так уверенно, как двух не похожих друг на друга людей), то лидар работает довольно грубо.

Как писали разработчики Halide в обзоре iPad Pro 2020 года — устройства, в котором такой же сенсор появился раньше, чем в айфонах, — лидар больше годится для анализа предметов в масштабе комнаты. Если попытаться просканировать небольшие объекты, неизбежно будут неточности, которые, например, не позволят вам сразу отправить получившуюся модель на 3D-печать.

Так зачем нужен лидар в айфонах? Две главные функции — помощь с фокусировкой при фотографировании и с анализом пространства для дополненной реальности.

Сами айфоны, без сторонних приложений, демонстрируют возможности лидара совсем ненавязчиво. Если снимать при плохом освещении, сканер поможет камере сфокусироваться. В портретном режиме, если снимать на основную камеру, а не на телефото, появился ночной режим — его работе тоже помогает лидар. Наконец, если запустить приложение «Рулетка», которое использует дополненную реальность, чтобы замерять размеры объектов в кадре, и навести камеру на человека, можно увидеть его рост — такая функция доступна только на устройствах с лидаром.

Чтобы получить от сканера больше, придется искать приложения в App Store. Во-первых, это большинство приложений с дополненной реальностью (AR) — только не тех, которые завязаны на фронтальной камере (иначе говоря, на добавлении масок и фильтров), а тех, которые используют заднюю камеру для размещения виртуальных объектов в реальном мире.

Например, в игре Hot Lava, где игрок должен перемещаться по дому, прыгая по предметам мебели и избегая касания с полом (там разлита лава), есть AR-режим. В нем вы можете расставить виртуальные коробки и трамплины вокруг себя, а затем вызвать персонажа игры — и тот будет взаимодействовать не только с этими коробками и трамплинами, но и с реальной мебелью и предметами в комнате.

Примеры 3D-сканов реальных объектов, созданных в приложении Heges. Кресло было отсканировано с закрытой камерой — то есть только усилиями лидара. На втором снимке — попытка отсканировать небольшую круглую банку.
Султан Сулейманов / «Медуза»

Другой класс приложений, которые пытаются использовать возможности лидара, — 3D-сканеры, такие как Heges, ScandyPro или 3d Scanner App. Они позволяют сканировать отдельные объекты и целые комнаты. С первым, как мы уже выяснили, лидар справляется не очень хорошо: небольшие предметы получатся мягко говоря неточными. С крупными предметами — размером с кресло или больше — ситуация лучше, хотя говорить о точной трехмерной копии вещей не приходится.

Отдельно в ряду таких приложений стоит Record3D. Оно работает не только с лидаром, но и с фронтальной TrueDepth-камерой, но его особенность не в этом. Это приложение записывает трехмерное видео, совмещая картинку с камер и сенсоров. Получается что-то такое:

Глава третья. Короткая и совсем простая

Ночной режим

Формально iPhone 12 Pro и 12 Pro Max поддерживают ночной режим на всех четырех камерах — трех задних и фронтальной. Точнее, так кажется: если вы попытаетесь снять что-то в ночном режиме на камеру с телеобъективом, айфон подсунет вам увеличенную картинку с основной камеры (с соответствующим ухудшением качества).

Если вы плохо знакомы с тем, как работает ночной режим в телефонах, вот краткое объяснение. В отличие от «классического» подхода, который вынуждает камеры снимать на долгих выдержках — до нескольких секунд — айфон делает серию фотографий с короткой выдержкой, а затем собирает информацию с разных участков кадра, чтобы «вытянуть» информацию из темной сцены. Это позволяет снимать ночные снимки «с рук», без использования штатива: если в какой-то момент вы дернули айфоном, система просто выбросит смазанный кадр и не будет учитывать его в дальнейшем анализе.

Так вот. Самое интригующее тут — ночной режим на свершхирокоугольной камере. Сама камера, как мы писали выше, почти не изменилась с момента появления в айфонах 11-й серии. Она неплохо снимала днем, но при плохом освещении изображение сразу становилось темным и шумным.

Возьмем два снимка, сделанных в одном и том же месте: один на сверхширокоугольную камеру iPhone 11 Pro Max, второй на такую же камеру 12 Pro Max с включенным ночным режимом.

Султан Сулейманов / «Медуза»
Султан Сулейманов / «Медуза»

Разница довольно красноречивая, но еще лучше она видна, если поставить камеру на штатив. Следующие два фото сделаны на iPhone 12 Pro Max: один со штатива и выставленным на максимум ночным режимом, второй со штатива, но без ночного режима.

Султан Сулейманов / «Медуза»
Султан Сулейманов / «Медуза»

Качели на левом кадре получились такими из-за особенностей ночного режима: когда этот режим выставлен на максимум (обычно это означает время съемки до 10 секунд), а телефон установлен неподвижно — например, на штатив, то айфон запускает симуляцию «настоящей» съемки с длинной выдержкой, когда движущиеся объекты в кадре становятся смазанными.

Еще одно программное ухищрение, которое помогает улучшить качество картинки с ультраширокой камеры — Deep Fusion. Это алгоритм, который с помощью нейросетей повышает детализацию фотографий. Прежде Deep Fusion работал только на основной камере, но в айфонах 12-й серии он появился также в сверхширокоугольной и фронтальной.

Возьмем еще два фото, снятых при плохом освещении на сверширокоугольную камеру — на 11 Pro Max и 12 Pro Max (в этом случае оба снимка сделаны без ночного режима):

Султан Сулейманов / «Медуза»
Султан Сулейманов / «Медуза»

Здесь разница не так сильно бросается в глаза, но если присмотреться к игрушке, можно заметить, как выросла детализация ее «кожи» и «волос».

Наконец, как мы уже писали, в новых айфонах появилась поддержка ночного режима в таймлапсах — видео, которые словно играют на быстрой перемотке. В отличие от такого режима при съемках фотографий, тут его нельзя насильно включить, выключить или настроить: просто если установить айфон неподвижно и начать снимать темноту, он начнет снимать видео с чуть увеличенной выдержкой.

Итоговое видео, правда, мало чем отличается от обычных таймлапсов — следы от автомобильных фар слегка вытягиваются, а люди в кадре движутся чуть более смазанно. Вот пример:

Султан Сулейманов / «Медуза»
📸

Антракт!

Дальше вас ждет тяжелый технический текст, так что сделайте перерыв — и просто полюбуйтесь фотографиями Евгения Фельдмана.

Вот они!

В iPhone 12 Pro Max — камеры, каких в айфонах еще не было Фотограф Евгений Фельдман демонстрирует, как они снимают

Вот они!

В iPhone 12 Pro Max — камеры, каких в айфонах еще не было Фотограф Евгений Фельдман демонстрирует, как они снимают

Глава четвертая. Самая сложная

Apple ProRAW

Мы наконец подобрались к главной программной функции, которая позволяет iPhone 12 Pro и 12 Pro Max гордо носить свою приставку «про» — съемке фотографий в RAW прямо через стандартное приложение камеры. И, что немаловажно, снимки сохраняются в специальном формате, ProRAW. Но обо всем по порядку.

Что такое RAW

Если вы просто делаете фотографию на камеру вашего телефона, то через долю секунды в галерее появится снимок — он скорее всего будет в формате JPEG или HEIC. За ту долю секунды, что прошла от нажатия на кнопку спуска до появления снимка, телефон проделал массу операций: он проанализировал сигнал со всех сенсоров в матрице, «собрал» из них картинку, «подтянул» экспозицию, чтобы минимизировать пересвеченные или слишком темные участки, подстроил баланс белого, чтобы кадр не был слишком желтым или слишком синим, наложил свои умные алгоритмы обработки — например, тот же Deep Fusion на айфоне — и сохранил итоговую картинку в файл размером в несколько мегабайт. Чтобы добиться последнего, нужно выбросить из файла всю лишнюю информацию, которая не нужна для отображения снимка в том виде, в котором он получился на выходе.

Для большинства нормальных ситуаций этот подход работает — и, что немаловажно, он экономит память телефона. Вы все еще можете подредактировать яркость и контрастность снимка, наложить на него фильтр и выложить в инстаграм. Но для профессиональных фотографов — и тех, кто хочет себя таким почувствовать — есть другой формат, RAW.

RAW — это формат хранения «сырых» данных с матрицы цифровой камеры, будь то большая «зеркалка» или смартфон. То есть большинство этапов, описанных выше, пропускается: устройство пакует всю доступную информацию о снимке, а как с ней обращаться, потом разберется фотограф. Это как фотопленка, которая запечатлела изображение, попавшее на нее через объектив, но над которой еще надо потрудиться, чтобы получить финальный снимок.

Почему фотографу нужно с чем-то «разбираться»? Как объясняют разработчики Halide, человеческий глаз — самая мощная камера в мире, которая видит картинку с динамическим диапазоном до 30 стопов — то есть столько ступеней экспозиции может быть между самым ярким и самым темным объектом в «кадре». Цифровые камеры снимают с диапазоном до 15 стопов. То есть какие-то слишком темные или слишком светлые предметы, которые ваш глаз еще различает, камера запомнит просто сплошным черным или белым пятном (помните, как трудно бывает сфотографироваться на фоне яркого неба — либо люди слишком темные, либо небо пересвечено?). Большинство экранов, продолжают авторы Halide, могут отображать до 8 стопов. И если вы пытаетесь посмотреть снимок с широким динамическим диапазоном на таком экране, что-то может выглядеть неожиданно. Поэтому все богатство информации, которое вы получили в RAW-файле, нужно привести к виду, который позволит зрителям увидеть все детали, которые вы хотите показать. Для этого есть приложения для телефонов и компьютеров — например, Adobe Lightroom, самое известное в своем роде.

Айфоны и андроиды тоже давно умеют снимать в RAW, но для этого нужно воспользоваться сторонними приложениями. В случае с iOS это могут быть Halide или ProCam: стандартное приложение камеры снимает только в готовых JPEG и HEIC. Фотограф Георгий Джеджея, который недавно написал подробную статью про Apple ProRAW, вспоминает, что примерно до 2013 года смысла в RAW на телефонах не было совсем, но «начиная с iPhone 6s, а на андроидах чуть раньше, RAW стал по смыслу такой же опцией, какой он был на больших камерах»:

Хочешь запилить лифтолук — запускай камеру да снимай, хочешь красиво снять закатик — вот тебе Halide со всеми ништяками RAW-конвертации.

В чем проблема с RAW

Правда, в последние годы RAW на телефонах перестал быть однозначно лучшим решением по сравнению с JPEG. Причина — в том, что называется «вычислительной фотографией». Очень подробно о том, что сюда входит, написано в блоге Вастрика, а мы постараемся рассказать очень сжато.

Султан Сулейманов / «Медуза»

Вычислительная фотография — это все те методы обработки фотографии, которые позволяют получить гораздо более качественную версию снимка. Уже упомянутые ночной режим и Deep Fusion — примеры приемов вычислительной фотографии. Сюда же относятся Smart HDR, который автоматически сшивает несколько снимков, чтобы расширить их динамический диапазон, карта глубины и маски по объектам. Карта глубины создается с помощью машинного обучения, данных с нескольких камер и лидара — она позволяет симулировать портретный режим, когда объект на переднем плане остается резким, а фон за ним красиво размыт.

Маски по объектам — это еще одна технология, использующая машинное обучение. В 2019 году Apple рассказывала, что iOS 13 научилась распознавать в кадре разные фрагменты лица: волосы, кожу и зубы. Это нужно, чтобы применить тот или иной эффект (скажем, повышение резкости или изменение яркости) только на определенный участок снимка, не трогая соседние.

Так вот. Когда пользователь снимает на айфоне классический RAW-снимок, он лишается всех преимуществ вычислительной фотографии: остаются лишь «голые» данные с матрицы. Георгий Джеджея описывал выбор, стоящий перед фотографом, так:

Отказываться от всех плюшек вычислительной фотографии ради возни с динамическим диапазоном — это примерно как взять «Ланос» вместо «Теслы», чтобы можно было скорости попереключать. Особенно если учесть, что грамотный HDR делается не четырьмя ползунками в «Лайтруме», а несколько сложнее. Смартфон с этим справится, скорее всего, лучше.

При чем тут ProRAW

Наконец, на сцену выходит Apple ProRAW — улучшенный формат для хранения как «сырых» данных, так и вычислительных слоев над ними. Технически, это не какой-то особенный тип файлов, а обновленная версия открытого формата DNG, развитием которого занимается Adobe. То есть любой подкованный разработчик может написать приложение, которое будет открывать и редактировать такие файлы.

Примечательно, что данные в ProRAW стали чуть менее «сырыми», чем в классических RAW. Для большинства пользователей это ничего не меняет, но на специализированных форумах уже можно найти людей, недовольных тем, что Apple отдает в ProRAW дебайезированные данные. Дебайеризация — это самый первый этап, который позволяет из данных о том, сколько света упало на каждую красную, зеленую и синюю светочувствительную ячейку матрицы, получить информацию о цвете в этой конкретной точке.

Слово Вастрику, который описывает устройство матрицы фотоаппарата:

«Каждый ее пиксель (фотодиод) способен фиксировать только интенсивность света — то есть количество залетевших фотонов. Однако, пиксель не может измерить его цвет (длину волны). Чтобы получить RGB-картинку, пришлось нагородить костылей — накрыть матрицу сеткой разноцветных стеклышек, чтобы каждый фотодиод отвечал только за свой цвет — R, G или B.

Самая популярная реализация такой сетки называется фильтром Байера и используется сегодня в большинстве матриц. <…>

Получается, если лучик красного цвета был невезуч и попал на зеленое или синее стеклышко матрицы — эти фотоны будут просто отброшены на помойку фильтром Байера. То есть мы смело можем терять на этом 2/3 фотонов.

Зеленых ячеек в фильтре Байера больше — так сделали по аналогии с человеческим глазом. Получается, что из 50 миллионов пикселей на матрице зеленый цвет будет улавливать 25 млн, красный и синий — по 12.5 млн. Остальное будет усреднено — этот процесс называется дебайеризация или демозаик, и это такой жирный смешной костыль, на котором все держится. Отвратительно».

Почему Apple так поступает? Джеджея видит две причины: «во-первых, она не может накладывать вычислительные слои без дебайера, а, во-вторых — она лучше всех знает, как свои равы [RAW] расшифровывать».

Еще один этап, «вшитый» в ProRAW — ночной режим, если он был включен. Такой снимок не будет содержать у себя стопку фотографий, склеенных в одну. Только результат.

А то, что айфон будет делать со снимком дальше, уже можно контролировать. Deep Fusion, повышающий резкость, и Smart HDR можно отключить только перед тем, как сделаешь снимок, пишут разработчики Halide. Правда, делать это, скорее всего, не нужно: алгоритмы хорошо повышают резкость и подавляют шумы.

Маски по объектам сохраняются в файл с «сырыми» данными, причем они выделяют не только фрагменты лица, но и в принципе интересные детали кадра. Используя такие маски, в теории можно отдельно изменять главный объект съемки, и отдельно окружение. Или, скажем, затемнить только небо. Цитата из блога Джеджеи:

Айфоны давно понимают, где кот, а где сапог. Теперь они могут объяснять это фоторедакторам.

А вот карты глубины в ProRAW пока не появились: в портретном режиме съемка на этот формат вообще не работает. Разработчик популярного фоторедактора Pixelmator Антон Сухинов в разговоре с Джеджеей предположил, что в ближайшее время в ProRAW появится и это. Пока же информация о глубине записывается в файлы формата HEIC, и тот же Pixelmator умеет использовать ее как маску — примерно для того же, для чего можно использовать маски по объектам.

Теперь про минусы

Увы, у использования ProRAW есть несколько существенных минусов, и первый из них уже был только что упомянут выше:

Его мощь трудно увидеть

Этот формат полноценно запустился только в декабре, и пока мало какие фоторедакторы поддерживают его в полной мере. «Медуза» открывала соответствующие DNG-файлы в мобильных Halide, Darkroom и Pixelmator Photo, а также в Lightroom, Pixelmator Pro и Darkroom на компьютере. И всюду что-то работало не так, как хотелось. И еще везде одно и то же фото выглядело немного иначе.

Из того, что сразу бросается в глаза — приложения по большей части пока игнорируют маски по объектам, которые любезно составляет айфон при съемке. Просмотреть маску можно в Halide, но это приложение-камера, и практически никаких инструментов для редактирования он не предлагает.

Да и к другим «вшитым» в снимок параметрам разные приложения относятся по-разному.

Вот, например, фотография кошки на стоге сена: она снята в RAW, никак не редактировалась, и была экспортирована из стандартного приложения «Фото» на macOS. Рядом с ней — скриншот той самой семантической маски, которая видна в Halide: