Зачем нужен Apple ProRAW? Разбор

Мы разобрались с тем, что же такое Apple ProRAW и поняли, как на самом деле он работает. ОКазалось, не все так просто и при этом очень продвинуто…
Валерий Истишев 6 февраля 2021 в 07:06

Apple снова представили какой-то непонятный новый формат фотографии Apple ProRAW. Кому он нужен? Чем отличается от обычного RAW? Удобно ли этим пользоваться и заменит ли теперь iPhone профессиональный фотоаппарат? И главное — для кого он создан: для профессиональных фотографов или все же, скажем так, для продвинутых пользователей?

 

Мы наделали кучу снимков в новом формате. Все их обработали и готовы с вами поделиться нашими соображениями.

Что такое RAW и чем формат Apple отличается от привычного RAW?

Классический RAW

Что такое RAW в классическом понимании — это, по сути, цифровой негатив. Формат DNG так и расшифровывается — Digital Negative. То есть это сырые, необработанные и, главное, несжатые данные с матрицы.

В RAW-файл записано все, что попало в каждый пиксель матрицы до сжатия и постобработок, поэтому такие файлы весят много. А чтобы довести RAW-фотку до ума, нужно провести довольно много операций:

  • покрутить яркость в темных и светлых участках,
  • настроить насыщенность и контраст,
  • подавить шум или оставить,
  • поработать с цветами
  • исправить искажения оптики и прочее.

Но с другой стороны, из RAW-фотографии можно вытянуть гораздо больше данных.

Частенько мы можем восстановить, казалось бы, совершенно утерянную информацию: засвеченное небо или проваленные тени. И, что особенно радует, можно абсолютно безболезненно править цвета, задрать насыщенность и не вылезет никаких артефактов. Ну или можем поправить баланс белого, если автоматика ошиблась.

Именно поэтому формат RAW уважают профессионалы — люди, которые привыкли обрабатывать снимки и выжимать максимум из каждого фото.

Apple ProRAW

Но всё о чем мы говорили справедливо по отношению к классическому RAW-файлу с какого-нибудь фотоаппарата. А вот Apple ProRAW — совсем другая история. В чем суть?

Дело в том, что в больших фотоаппаратах RAW данные сами по себе неплохие. За счет больших матриц и классной оптики мы получаем изначально хорошее соотношение сигнал/шум, хороший динамический диапазон и прочее. Поэтому довести такой снимок до ума не составит труда. А вот на сырые данные с матрицы телефона без слез вообще не взглянешь.

Вот посмотрите. Слева файл HEIC, к которому Apple применила всю мощь алгоритмов вычислительной фотографии, а справа RAW снимок, сделанный через приложение Moment. Представляете насколько сильно продвинулись алгоритмы?

Именно поэтому Apple представили новый формат ProRAW, который по максимуму используют все преимущества мира вычислительной фотографии.

Как это принято в вычислительной фотографии ProRAW также создается из нескольких снимков, которые склеиваются и всячески обрабатываются: подавляются шумы, увеличивается резкость, настраивается тональный контраст и прочее.

В итоге мы получаем 12-битный несжатый снимок с динамическим диапазоном в 14 стопов, что сопоставимо с динамическим диапазоном человеческого зрения.

Что же под капотом у Apple ProRAW?

Тут начинают работать алгоритмы Apple Smart HDR 3 и Deep Fusion — или в простонародии “режим свитера” — тот самый, который увеличивает четкость мелких объектов предварительно сегментировав их, используя машинное обучение.

Также удалось выяснить, что Apple ProRAW к тому же хранит семантическую карту, которую Apple использует для умного рендеринга объектов. Видите вот этот слой MATTE.

То есть смартфон понимает какие объекты, как обрабатывать, тут это больше относится к лицам и коже и в целом определение человека на снимке.

Данная карта используется и для портретов, и эффектов. Это может дать дополнительную гибкость в обработке для сторонних приложений. И, по сути, в RAW-снимках есть возможность включения портретного режима, добавление боке и портретного освещения.

Что же мы в итоге получаем — с одной стороны, снимок Apple ProRAW уже сразу выглядит классно и готов к публикации. С другой стороны в запасе дополнительная гибкость в его обработке.

Но значит ли это, что Apple ProRAW — это просто обычный снимок с iPhone, который при этом будет лучше тянуться за счет отсутствия сжатия?

И вот тут начинается самое интересное. Всё-таки ProRAW — это нечто куда более интересное и полезное для фотографа. Тут проще один раз увидеть, чем объяснять на пальцах. Поэтому перейдём к примерам.

Чтобы показать разницу усложним задачу для камеры. Мы сделали 2 снимка с полностью заниженной вручную экспозицией, видите как все темно и только небо и яркое солнце видны.

В галерее iPhone Apple ProRAW, HEIC и JPG выглядят почти одинаково, последний поярче, но смотрим на размер в половину мегабайта у обычной фотки против 22-х мегабайт у RAW.

Попробуем вытянуть максимум из сжатого снимка. Мы использовали встроенный редактор iPhone, что приятно он теперь умеет работать и с RAW. Но для этого можно использовать Lightroom.

На HEIC удалось вытянуть некоторые детали из теней: становятся видны дома, но очень блеклые и низкого качества — это предел.

В случае с ProRAW-файлом сразу становится заметно, что тянется он гораздо лучше, понятно, что мы сделали максимально сложные условия съемки, занизив экспозицию, но именно на таком примере видно сколько информации скрывает RAW за кулисами.

Разницу примерно поняли, теперь посмотрим на кадры с автоматическими настройками при дневном свете.

Снимки опять выглядят очень похоже, но можно заметить более насыщенную картинку на обычной фотке — в целом она выглядит выглядит выигрышнее кадра в ProRAW.

Стоит учесть, что DNG может быть проявлен по разному. Это зависит от используемого софта. Например, он может быть сильно темнее в Lightroom, но пугаться не стоит вся информация по-прежнему в нем. Так же DNG-формат унифицированный и он спокойно откроется даже стандартным вьювером Windows, но опять же отображаться может по разному.

Вообще DNG = это контейнер, в котором может быть несколько файлов — например, RAW+JPG или два HEIC — работать с этим умеют некоторые сторонние приложения, например, тот же Halide. Вернемся к фоткам.

Правим яркость, подтягиваем тени если надо и смотрим внимательно насколько неестественно выглядит обычный снимок.

iPhone сильнее высветлил тени — я бы чуть спрятал. Яркое небо — красиво? Но оно было не такое синее айфон его откровенно перекрасил и добавил чрезмерной насыщенности — такой сейчас тренд.

В целом, снимок выглядит презентабельно, но если вы хотели передать другое настроение, и вам нужен холст для творчества, на который лучше лягут пресеты и настройки — только RAW. Например, сделаем снимок драматично зеленым как в матрице. Работа с цветами в RAW — это отдельный кайф.

Еще один пример. Слева обычный снимок, справа ProRAW.

Если добиться одинаковой яркости, то можно заметить что на JPEG — гораздо больше шума — может показаться, что это агрессивный шумодав в ProRAW — да отчасти — но тут есть и обратная история — на обычной фотке еще лежит Sharp. И одним ползунком можно добиться одинакового результата.

Но вот вопрос нужен ли шумодав на RAW? Это штука достаточно чувствительная для фотографов и то что любимый благородный шум подавляется алгоритмами в ProRAW не всегда хорошо.

Но тут есть выход. Если вам не нравится как Deep Fusion что-то разгладил, а что-то сделал четче, то опять обращаемся например к приложению Halide.

Оно умеет снимать в ProRAW в нескольких режимах, как ни странно, в этот раз Apple стал полностью закрывать свой формат и дал разработчикам возможность отключать некоторые фишки в API. Например, Deep Fusion в API — то есть если нужен шум можно оставить как есть и мы получим только часть красот Computational RAW. Покрутим обе фотографии, до состояния, которое мне нравится.

В принципе, оба снимка выглядят круто. Но на JPEG вылезает белый контур вокруг неба. Прямо видно как работает алгоритм сегментации и покраски.

Еще один интересный бонус Apple ProRAW — это сьемка. В тёмных сценах тут особенно приятно, что можно использовать ночной режим iPhone. Правда, тут особенно видно насколько более агрессивно работает шумодав в формате ProRAW.

И, честно признаться, это даже неплохо, потому как мы практически не теряем деталей, но при этом шума нет даже в самых сложных сценах.

Особенно разница в подходе заметна по сравнению с Google Pixel.

Если вы не знали вычислительные RAW придумали не в Apple. Google представил такую фичу еще два года назад в Pixel 3. Но функция не стала популярной, потому как обычная фотка с HDR+ смотрелась выигрышнее, а RAW-фотографии мало что давали, они как будто немного не довели эту историю до ума.

Но тем не менее сравниться с батей технологии всё равно интересно.

В исходном виде кадр с пикселя: это тот, что справа — выглядит на мой взгляд, поинтереснее. Хороший контраст и объём.

Но если немного поднять тени, мы сразу видим, что Pixel прячет за этим контрастом. Поэтому очередные аплодисменты шумодаву от Apple.

Хотя если привести снимки примерно к одной яркости, и чуть добавить шумодава на Pixel. Мы получаем примерно одинаковый по детализации результат. Более того на Pixel куда лучше тянутся света. Это видно по лампам.

 

Выводы

Что в итоге? Apple ProRAW получился очень интересным инструментом для ценителей мобильной фотографии.

Отсутствие шума, отличный динамический диапазон в том числе за счет SMART HDR 3 и простота редактирования не только в Lightroom и профессиональном ПО, но и прямо в приложении фото на iPhone. Всё это позволяет раскрыть камеру в iPhone совершенно по новому.

И наверное главное, что пытался сделать Apple этим форматом — дать доступный и понятный инструмент не только профессионалам, но и простым пользователям с более завышенными требованиями которые никогда не работали с RAW.

Мы остаемся в парадигме обычной Point-and-Shoot камеры смартфона, получаем такой же качественный снимок, но с более гибкими настройками потом.

Преимущества и недостатки обычной RAW-фотографии — они отличаются по луку от обычных снимков. В них не видно какой-либо жесткой постобработки. Тот же шум остается, но и работать над ним нужно больше. Но в обоих случаях стоит помнить, что сырые снимки как RAW, так и ProRAW будут занимать существенно больше места на вашем iPhone или в облаке примерно в 10 раз.

Почему в iPhone до сих пор стоят 12 Мп камеры?

16, 48, 64, 108, 200 и даже 600 — всё это о гонке мегапикселей в мобильной фотографии. Но почему в iPhone и Pixel до сих пор стоят 12 Мп матрицы?
vedensky 20 января 2021 в 06:57

Заметили, что мегапикселей стало как-то очень много? В Samsung готовят матрицы разрешением 600 Мп, уже есть — 108 Мп, а вот в iPhone, по-прежнему, 12 Мп. Почему так?

Вы наверное думаете, что всё дело в Deep Fusion и других волшебных алгоритмах. Отчасти, да. Но дело не только в них.

А что если я вам скажу, что в iPhone гораздо больше мегапикселей, чем мы думаем. А в Samsung, наоборот, гораздо меньше. Смотря как посчитать эти мегапиксели. Что это еще за заговор такой? Давайте разберемся!

Традиционная структура

Первый момент. Если внимательно посмотреть на современные ультра-мегапиксельные матрицы на 48, 64 или даже 108 Мп (а Samsung официально анонсировал, что работает над 600 Мп сенсором), то становится понятно, что разрешение матрицы стало вещью относительной. Почему я так говорю?

Традиционно, каждый пиксель на матрице состоял как минимум из 3 вещей:

  1. Фотодиод — маленький сенсор, который улавливает свет.
  2. Это цветовой фильтр, который позволят каждому фотодиоду улавливать только нужный спектр свет: красный, зеленый или синий.
  3. Микролинза — которая позволяет, точнее фокусировать свет внутрь пикселя.

И получается что если в пикселе есть эти три компонента, его можно назвать полноценным. И в матрицах с такими дополнениями пикселями мы всегда получаем честное разрешение: если матрица 12 МП, то и фотография будет 12 МП. Но разве можно делать как-то иначе?

Quad Bayer

Оказывается, можно. Долгое время у производителей матриц была проблема. Они никак не могли сделать пиксель меньше 1 мкм. А значит они не могли при том же физическом размере матрицы увеличить разрешение. Вот мы и сидела в основном с 12 Мп камерами.

Но в 2018 году барьер в 1 мкм был преодолён и появись первые компактные матрицы с размером пикселя 0,9 или 0,8 мкм и разрешением в 48 МП и больше. Но с уменьшением размера пикселя при прочих равных падает и их светочувствительность. Что, кстати, происходит не всегда…

Поэтому придумали очень простой хак. Цветовой фильтр стали накладывать не на один, а сразу на четыре пикселя и назвали такую структуру Quad Bayer, ну или Tetra Cell, если вы маркетолог Samsung. А дальше, объединив 4 пикселя в один гигантский, мы получаем отличную светочувствительность!

Но при этом реальное разрешение в 48 Мп камерах с Quad Bayer структурой в 4 раза меньше номинального и все равно — 12 Мп. Потому что, пиксели в таких матрицах не проходят наш критерий полноценности: в каждом пикселе есть фотодиод, в каждом есть микролинза, но цветовой фильтр только один четырёх. А значит цветовое разрешение в таких камерах в 4 раза ниже фактического.

Более того, даже в новых Samsung со 108 Мп камерами, реальное разрешение тоже 12 Мп, потому как в них объединяют не четыре, а сразу девять пикселей. Итого, 108 делим на 9, получаем 12.

Но почему же просто не сделать большие пиксели и не заморачиваться с этим объединением? Как ни странно такой подход даёт массу преимуществ!

Во-первых, днём когда света много — можно не объединять пиксели, а наоборот, при помощи алгоритма Re-mosaic можно восстановить хоть и неполное разрешение матрицы, но очень высокое.

Во-вторых, мы можем заставить разные пиксели работали с разной выдержкой. Тогда на выходе мы получим один светлый и один темный кадр, а склеив их мы можем полноценную HDR фотографию, или даже HDR видео!

Короче, вариантов для экспериментов масса и грех такое не использовать.

Но, если все уже поняли, что подход работает, почему же тогда ни в iPhone, ни в Pixel не пользуется преимуществами новых матриц? И вот тут самое интересное. На самом деле они пользуется, причем давно, но по-другому!

Dual Pixel

Помимо структур Bayer и Quad Bayer, существует и альтернативная школа, которая называется Dual Pixel или вернее сказать Dual Photo Diode.

Она отличается от традиционного Байера тем, что каждый пиксель в ней состоит из двух независимых фотодиодов. При этом оба фотодиода перекрывает только одна микролинза.

Но зачем это нужно? Если посмотреть на традиционную цифровую матрицу под микроскопом, то помимо обычных пикселей мы заметим какие-то странные зоны — вот эти зеленые штучки.

Это датчики фазовой фокусировки. Они необходимы для автофокуса. Кто снимал на зеркальные, помните вот такие зоны фокусировки в видоискателе? Вот это они!

Чем больше таких датчиков, тем быстрее и точнее будет работа автофокуса или AF. Но вот проблема. Они физически занимают место на матрице и отнимают его у нормальных пикселей. А значит, нельзя бесконечно увеличивать количество фазовых пикселей. Потому как, если бы, на каждый обычный пиксель приходился один фазовый пиксель, то система фокусировки занимала бы процентов 60 от общей площади.

Так было раньше, пока Canon не придумал технологию Dual Pixel. В качестве датчиков фазовой фокусировки они стали использовать обычные пиксели, разделив их на две части! Это позволило все пиксели сделать фазовыми! Опять же все кто пользовался зеркалками, знает какой у Canon крутой автофокус.

Но если у взрослых камер такая технология есть только у Canon, то в смартфонах, матрицы с двойными пикселями производит и Samsung, и Sony, поэтому такую систему фокусировки можно встретить можно встретить в куче смартфонов. В том числе во всех Google Pixel, начиная со второго и в iPhone 11 и 12.

Поэтому фактически в iPhone матрицы 24 мегапиксельные, если считать по количеству фотодиодов. Только полноценными такие 24 Мп конечно назвать нельзя, потому как тут пиксели делят на двоих не только цветовой фильтр, но и макролинзу. Поэтому в таких матрицах пиксели всегда работают в режиме объединения.

Правда есть одно исключение, если в iPhone систему двойных пикселей используют исключительно по назначению то есть для улучшения фокусировки, и, кстати, автофокус в iPhone замечательно работает как в фото, так и в видео, то в Google Pixel при помощи этой технологии научились делать портретные снимки с одной камеры. Они просто берут две фотографии, которые получились с правого и левого фотодиода и, подсчитав насколько сдвинулось изображение, строят карту глубины.

Так к чему я всё это? 12 Мп в iPhone — это осознанный выбор Apple, как и 108 Мп в Galaxy — осознанный выбор Samsung. Каждый из которых даёт свои преимущества и недостатки.

Камеры с высоким разрешением и структурой Quad Bayer или NonaCell — позволяют добиться более высокого разрешения днём и классной светочувствительности ночью. Позволяют проводить съёмку с алгоритмами HDR для фото и видео и вообще могут очень гибко настраиваться под конкретную задачу. Но пока не каждый процессор может справится с обработкой такого количества пикселей, а также, как показали тесты Galaxy S20 Ultra, бывают проблемы с фокусировкой.

Dual Pixel матрицы с низким разрешением вроде бы ничем особо не отличаются от традиционных матриц, но фотографии в низком разрешении проще обрабатывать. А структура Dual Pixel позволяет добиться потрясающей скорости и точности фокусировки.

Тем не менее мир не стоит на месте, Samsung и Sony уже показали новые матрицы с Quad Bayer структурой и двойными пикселями, которые берут лучшее из двух миров. Поэтому в будущем ждем еще более крутые камерофоны в следующем году.

Нужна ли смартфону супермощная камера? | Droider Show

Валерий Истишев рассказывает о новом сенсоре от Xiaomi и Samsung
News Droid 13 августа 2019 в 10:51

Напомним, что на Future Image Technology Communication Meeting 2019 китайская и южнокорейская компании анонсировали совместный проект — мобильную камеру ISOCELL Bright HMX на 108 Мп.

Если не учитывать Nokia 808 PureView из 2012 года, то речь идет о самом крупном сенсоре для смартфонов на рынке — 1/1,33 дюйма. С практической точки зрения, датчик от Samsung и Xiaomi позволит снимать видеоролики с разрешением до 6K (6016 x 3384 пикселей) на скорости 30 кадров в секунду.

Zoemini C и S от Canon — камеры с мгновенной печатью

А ещё одноименный компактный принтер для фотографий
Arina 29 марта 2019 в 10:06

Японская компания решила порадовать поклонников ретро-технологий, анонсировав 2 камеры, которые умеют моментально печатать изображения. Скорость составляет около 50 секунд.

https://youtu.be/lw1bPsh8LII

Zoemini C обладает модулем 5 Мп и LED-вспышкой. Zoemini S получила модуль 8 Мп и кольцевую вспышку из 8 светодиодов, Bluetooth. Слот для microSD достался обеим. В свою очередь, Zoemini способен подключаться к «облакам» и делить 1 фотографию на несколько карточек.

  • Zoemini С от Canon
  • Zoemini S от Canon

Все гаджеты Canon дружелюбны со смартфонами на Android и iOS. Для полноценной работы рекомендуется скачать фирменное приложение, которое позволяет удаленно спустить затвор, наложить эффекты или опубликовать в социальной сети.

  • Zoemini от Canon
  • Zoemini от Canon

Старт продаж в Европе намечен на апрель, в России — на июль-декабрь 2019 года. Младшая модель обойдется в 130 евро, старшая — в 180 евро. В комплекте бесплатно идут 10 листов водоотталкивающей бумаги Zink с липким слоем. Наборы для печати будут продаваться отдельно в 2 вариантах: 20 и 50 штук размером 5 x 7,5 см.

Источник: CanonCanonCanon

Canon Mini Print
Warning: Undefined property: stdClass::$review in /var/www/www/data/www/droider.ru/wp-content/plugins/droider-widgets/widget-templates/app.tpl on line 9

Warning: Undefined property: stdClass::$wp_store_url in /var/www/www/data/www/droider.ru/wp-content/plugins/droider-widgets/widget-templates/app.tpl on line 17

Самые лучшие «селфифоны»

«Роскачество» собрала модели на iOS и Android
News Droid 7 марта 2018 в 06:16

Организация «Российская система качества» и ассамблея ICRT изучили фронтальные камеры смартфонов, которые относятся к среднему и топовому сегменту рынка.

Модель Компания Баллы
Desire Eye HTC 4,5
U11 HTC 4
iPhone 8 Apple 4
iPhone 8 Plus Apple 4
iPhone X Apple 4
Nokia 8 HMD Global 4
Xperia XZ Premium Sony 4

Несмотря на то, что «отличником» по качеству съемки селфи не стал ни один аппарат, в рейтинге представлены «хорошисты», набравшие максимальное количество баллов.

Источник: Роскачество

10 самых крутых «камерофонов»

По версии экспертов DxOMark, между прочим
News Droid 10 октября 2017 в 02:34

Знаменитый ресурс, специализирующийся на оценке фотовозможностей техники, обновил рейтинг по смартфонам из 2016-17 годов. Максимальная оценка составляет 100 баллов.

Место Модель Баллы
1 Pixel 2 от Google 98
2 Galaxy Note8 от Samsung 94
3 iPhone 8 Plus от Apple 94
4 iPhone 8 от Apple 92
5 Pixel от Google 90
6 U11 от HTC 90
7 iPhone 7 Plus от Apple 88
8 iPhone 7 от Apple 85
9 Xperia XZ Premium от Sony 83
10 Galaxy S6 Edge 82

Примечательно, что в список попали модели на iOS и Android с одинарными и с двойными основными камерами.

Источник: DxOMark

Мнение современных туристов о моноподах. Согласно momondo

Егор Беляков 6 августа 2016 в 08:28

В преддверии Всемирного дня фотографии международный туристический метапоиск momondo узнал, что активно путешествующие россияне думают о съемке при помощи селфи-палок.

Специалисты провели масштабное исследование среди более чем 29 000 самостоятельных путешественников из 20 стран мира.
(далее…)

[Видеообзор] Подробно обо всех изменениях в iOS 10

Егор Беляков 18 июня 2016 в 11:41

На прошедшей конференции WWDC 2016 корпорация Apple анонсировала новую версию операционной системы для мобильных устройств. По словам разработчиков, этот апдейт является самым масштабным в истории iOS.

Не секрет, что в редакция Droider немало владельцев iPhone. И туда мгновенно была загружена бета-версия iOS 10. Спешим поделиться первыми впечатлениями от использования.
(далее…)