Как думаете, какой из роликов в начале снят на смартфон, а какой на профессиональную камеру? Вы уже видели название ролика и материала и наверняка догадались, что оно снято на смартфон. Если быть точным, то на LG V35 Signature Edition и LG V40, помните такие? А также мы показали ролик, снятый на OnePlus 8T.

Секрет в том, что эти ролики сняты в формате RAW. Такое впервые стало доступно на смартфоне совсем недавно. Наверняка вы слышали это словосочетание. Поэтому сегодня разберемся, как это работает.

Как снимать такие видео на вашем Android-смартфоне? Разберем много примеров. Действительно принципиально другое качество видео на смартфон. И мы такого не ожидали…

Что такое RAW?

Съемка RAW-видео недавно появилась виде open-source приложениz для Android. Называется оно Motion Cam. Под iPhone пока такого нет. Там только Apple ProRes, кстати с ним тоже сравним. Кратко вспомним, что значит RAW-видео.

Изначально: видео — это последовательность кадров, статических картинок — там 24, 25 или 30 штук в секунду. Но кодеки, которыми мы пользуемся в интернете и на компьютере уже не очень похожи на них. Это скорее сложные архивы, которые максимально сильно стискивают данные, группируют кадры, чтобы оставить только самое необходимое. Это современные кодеки доставки типа h.264, h.265 или AV1. Но в профессиональном производстве это видео совсем не подходит. Потому что после съемки может потребоваться внести изменения в отснятый материал. А обычные кодеки этого не дадут сделать — там просто нет дополнительной информации. Поэтому любое кино, клипы, рекламу и возможно дорогие YouTube-шоу, снимают в формате RAW, то есть «сыром» и «необработанном», если переводить на русский язык этот термин.

В этом случае каждый кадр хранится, по сути, в виде отдельной картинки, причем не сжатой. Это просто большой файл, в котором записано: по координатам таким-то пиксель такого цвета, следующие координаты — такого-то цвета и т.д. Но все это очень громоздкие файлы.

Зато получаются более детализированное видео, но они позволяют на постпродакшене творить чудесные вещи. Так вот, раньше снять RAW-видео на смартфон было невозможно. Но совсем недавно в open-source приложении Motion Cam появилась такая функция и это позволило снять видео вроде тех, что мы видели в начале.

Итак, что получается. Во-первых, RAW-видео можно снимать в 4K-разрешении со скоростью 24 или 30 кадров в секунду.

Основных преимуществ примерно два:

1. Более широкий динамический диапазон. Pixel 6 Pro, который очень неплохо справляется с динамическим диапазоном тут не смог вытянуть окно при съемке на обычную камеру, а в формате RAW — справился, там есть информация.
2. Намного больше деталей сохраняется. В том числе в цветах. Больше информации о цвете, а это значит, что можно тянуть цветокоррекцию очень сильно. Цвета не теряются.

Стоковое видео выгоняется в формате 4.2.0 — это значит, что большинство цветов усредняется.

Вы находитесь здесь

Мы сделали несколько примеров и для начала попробовали поднять конраст на обоих клипах. Когда поднимаем на RAW-видео — изображение просто становится контрастнее, а на видео со стокового приложения все почти сразу плывет и рушится.

И тут вы скажете. Ну конечно, все Android-смартфон снимают так себе. Вот iPhone…

И тут мы решили сделать сравнение с iPhone 13 Pro. Тут будто бы сразу все видно, без всяких настроек. Например, шумы.

Процесс работы

Но как получается создать RAW-видео и как приложение это делает. По сути, смартфон сохраняет каждый кадр как DNG-файл. Кроме этого тут высокое качество — 10 бит.

Мы знаем этот формат по фотосъемке на смартфоны — именно в таком формате сохраняются RAW-снимки, на смартфонах, где есть такая опция. В частности на Pixel. Название, кстати расшифровывается как цифровой негатив или Digital Negative.

А дальше вы просто кидаете ваше видео в RAW-формате в программу DaVinci Resolve, которая поддерживает его без проблем.

Косяки

Но не все так радужно, есть и проблемы.

Во-первых, видео в RAW-формате много весит. Вплоть до того, что вам может потребоваться подключение внешнего SSD, куда будут копироваться готовые файлы.

Во-вторых, обработка занимает довольно внушительное время.

В-третьих, программа иногда пропускает файлы.

На Pixel 6 Pro спустя несколько секунд после старта записи FPS падает до 15 кадров в секунду, видимо из-за относительно невысокой скорости памяти. Но это, если снимать в 4K, а если снимать в 2К-разрешении — проблем никаких!

Но надо сказать, что Motion Cam все еще в бете. Программа появилась всего пару недель назад и то, как она работает, уже очень хороший результат.

Почему раньше не было?

Во-первых, сложно получить RAW-данные. Дело в том, что Android не дает разработчикам прямой доступ к камере, а делает это через прослойку Camera2Api. Более того производители смартфонов сами извращают эту прослойку, как хотят.

Motion Cam написано с использованием нативного инструмента Android NDK, то есть нативных инструментов Android, по сути, имеет место низкоуровневое программирование, что и позволяет достать сырые данные с сенсора камеры.

Во-вторых, есть ограничение по железу. Данных слишком много. Нужна высокая скорость памяти и всех компонентов, чтобы справляться. Лучше всего это делают флагманы на Snapdragon 865 или 888 и с памятью типа UFS 3.0. Ну и конечно же новый Pixel.

Какие еще смартфоны поддерживают? Сейчас наверное любые дороже 200$, ну и те, где реализован доступ к RAW. Например, у HUAWEI такого нет.

Выводы

КАк я уже сказал, приложение пока находится в бета-версии. У ребят есть собственный чат. Программа постоянно развивается и есть надежда, что программа выйдет из беты уже к весне 2022 года. А это значит, что RAW-видео может стать еще более массовым и мы наверняка увидим новые клипы, снятые на смартфон, рекламу или фильмы.

Apple снова представили какой-то непонятный новый формат фотографии Apple ProRAW. Кому он нужен? Чем отличается от обычного RAW? Удобно ли этим пользоваться и заменит ли теперь iPhone профессиональный фотоаппарат? И главное — для кого он создан: для профессиональных фотографов или все же, скажем так, для продвинутых пользователей?

 

Мы наделали кучу снимков в новом формате. Все их обработали и готовы с вами поделиться нашими соображениями.

Что такое RAW и чем формат Apple отличается от привычного RAW?

Классический RAW

Что такое RAW в классическом понимании — это, по сути, цифровой негатив. Формат DNG так и расшифровывается — Digital Negative. То есть это сырые, необработанные и, главное, несжатые данные с матрицы.

В RAW-файл записано все, что попало в каждый пиксель матрицы до сжатия и постобработок, поэтому такие файлы весят много. А чтобы довести RAW-фотку до ума, нужно провести довольно много операций:

• покрутить яркость в темных и светлых участках,
• настроить насыщенность и контраст,
• подавить шум или оставить,
• поработать с цветами
• исправить искажения оптики и прочее.

Но с другой стороны, из RAW-фотографии можно вытянуть гораздо больше данных.

Частенько мы можем восстановить, казалось бы, совершенно утерянную информацию: засвеченное небо или проваленные тени. И, что особенно радует, можно абсолютно безболезненно править цвета, задрать насыщенность и не вылезет никаких артефактов. Ну или можем поправить баланс белого, если автоматика ошиблась.

Именно поэтому формат RAW уважают профессионалы — люди, которые привыкли обрабатывать снимки и выжимать максимум из каждого фото.

Apple ProRAW

Но всё о чем мы говорили справедливо по отношению к классическому RAW-файлу с какого-нибудь фотоаппарата. А вот Apple ProRAW — совсем другая история. В чем суть?

Дело в том, что в больших фотоаппаратах RAW данные сами по себе неплохие. За счет больших матриц и классной оптики мы получаем изначально хорошее соотношение сигнал/шум, хороший динамический диапазон и прочее. Поэтому довести такой снимок до ума не составит труда. А вот на сырые данные с матрицы телефона без слез вообще не взглянешь.

Вот посмотрите. Слева файл HEIC, к которому Apple применила всю мощь алгоритмов вычислительной фотографии, а справа RAW снимок, сделанный через приложение Moment. Представляете насколько сильно продвинулись алгоритмы?

Именно поэтому Apple представили новый формат ProRAW, который по максимуму используют все преимущества мира вычислительной фотографии.

Как это принято в вычислительной фотографии ProRAW также создается из нескольких снимков, которые склеиваются и всячески обрабатываются: подавляются шумы, увеличивается резкость, настраивается тональный контраст и прочее.

В итоге мы получаем 12-битный несжатый снимок с динамическим диапазоном в 14 стопов, что сопоставимо с динамическим диапазоном человеческого зрения.

Что же под капотом у Apple ProRAW?

Тут начинают работать алгоритмы Apple Smart HDR 3 и Deep Fusion — или в простонародии “режим свитера” — тот самый, который увеличивает четкость мелких объектов предварительно сегментировав их, используя машинное обучение.

Также удалось выяснить, что Apple ProRAW к тому же хранит семантическую карту, которую Apple использует для умного рендеринга объектов. Видите вот этот слой MATTE.

То есть смартфон понимает какие объекты, как обрабатывать, тут это больше относится к лицам и коже и в целом определение человека на снимке.

Данная карта используется и для портретов, и эффектов. Это может дать дополнительную гибкость в обработке для сторонних приложений. И, по сути, в RAW-снимках есть возможность включения портретного режима, добавление боке и портретного освещения.

Что же мы в итоге получаем — с одной стороны, снимок Apple ProRAW уже сразу выглядит классно и готов к публикации. С другой стороны в запасе дополнительная гибкость в его обработке.

Но значит ли это, что Apple ProRAW — это просто обычный снимок с iPhone, который при этом будет лучше тянуться за счет отсутствия сжатия?

И вот тут начинается самое интересное. Всё-таки ProRAW — это нечто куда более интересное и полезное для фотографа. Тут проще один раз увидеть, чем объяснять на пальцах. Поэтому перейдём к примерам.

Чтобы показать разницу усложним задачу для камеры. Мы сделали 2 снимка с полностью заниженной вручную экспозицией, видите как все темно и только небо и яркое солнце видны.

В галерее iPhone Apple ProRAW, HEIC и JPG выглядят почти одинаково, последний поярче, но смотрим на размер в половину мегабайта у обычной фотки против 22-х мегабайт у RAW.

Попробуем вытянуть максимум из сжатого снимка. Мы использовали встроенный редактор iPhone, что приятно он теперь умеет работать и с RAW. Но для этого можно использовать Lightroom.

На HEIC удалось вытянуть некоторые детали из теней: становятся видны дома, но очень блеклые и низкого качества — это предел.

В случае с ProRAW-файлом сразу становится заметно, что тянется он гораздо лучше, понятно, что мы сделали максимально сложные условия съемки, занизив экспозицию, но именно на таком примере видно сколько информации скрывает RAW за кулисами.

Разницу примерно поняли, теперь посмотрим на кадры с автоматическими настройками при дневном свете.

Снимки опять выглядят очень похоже, но можно заметить более насыщенную картинку на обычной фотке — в целом она выглядит выглядит выигрышнее кадра в ProRAW.

Стоит учесть, что DNG может быть проявлен по разному. Это зависит от используемого софта. Например, он может быть сильно темнее в Lightroom, но пугаться не стоит вся информация по-прежнему в нем. Так же DNG-формат унифицированный и он спокойно откроется даже стандартным вьювером Windows, но опять же отображаться может по разному.

Вообще DNG = это контейнер, в котором может быть несколько файлов — например, RAW+JPG или два HEIC — работать с этим умеют некоторые сторонние приложения, например, тот же Halide. Вернемся к фоткам.

Правим яркость, подтягиваем тени если надо и смотрим внимательно насколько неестественно выглядит обычный снимок.

iPhone сильнее высветлил тени — я бы чуть спрятал. Яркое небо — красиво? Но оно было не такое синее айфон его откровенно перекрасил и добавил чрезмерной насыщенности — такой сейчас тренд.

В целом, снимок выглядит презентабельно, но если вы хотели передать другое настроение, и вам нужен холст для творчества, на который лучше лягут пресеты и настройки — только RAW. Например, сделаем снимок драматично зеленым как в матрице. Работа с цветами в RAW — это отдельный кайф.

Еще один пример. Слева обычный снимок, справа ProRAW.

Если добиться одинаковой яркости, то можно заметить что на JPEG — гораздо больше шума — может показаться, что это агрессивный шумодав в ProRAW — да отчасти — но тут есть и обратная история — на обычной фотке еще лежит Sharp. И одним ползунком можно добиться одинакового результата.

Но вот вопрос нужен ли шумодав на RAW? Это штука достаточно чувствительная для фотографов и то что любимый благородный шум подавляется алгоритмами в ProRAW не всегда хорошо.

Но тут есть выход. Если вам не нравится как Deep Fusion что-то разгладил, а что-то сделал четче, то опять обращаемся например к приложению Halide.

Оно умеет снимать в ProRAW в нескольких режимах, как ни странно, в этот раз Apple стал полностью закрывать свой формат и дал разработчикам возможность отключать некоторые фишки в API. Например, Deep Fusion в API — то есть если нужен шум можно оставить как есть и мы получим только часть красот Computational RAW. Покрутим обе фотографии, до состояния, которое мне нравится.

В принципе, оба снимка выглядят круто. Но на JPEG вылезает белый контур вокруг неба. Прямо видно как работает алгоритм сегментации и покраски.

Еще один интересный бонус Apple ProRAW — это сьемка. В тёмных сценах тут особенно приятно, что можно использовать ночной режим iPhone. Правда, тут особенно видно насколько более агрессивно работает шумодав в формате ProRAW.

И, честно признаться, это даже неплохо, потому как мы практически не теряем деталей, но при этом шума нет даже в самых сложных сценах.

Особенно разница в подходе заметна по сравнению с Google Pixel.

Если вы не знали вычислительные RAW придумали не в Apple. Google представил такую фичу еще два года назад в Pixel 3. Но функция не стала популярной, потому как обычная фотка с HDR+ смотрелась выигрышнее, а RAW-фотографии мало что давали, они как будто немного не довели эту историю до ума.

Но тем не менее сравниться с батей технологии всё равно интересно.

В исходном виде кадр с пикселя: это тот, что справа — выглядит на мой взгляд, поинтереснее. Хороший контраст и объём.

Но если немного поднять тени, мы сразу видим, что Pixel прячет за этим контрастом. Поэтому очередные аплодисменты шумодаву от Apple.

Хотя если привести снимки примерно к одной яркости, и чуть добавить шумодава на Pixel. Мы получаем примерно одинаковый по детализации результат. Более того на Pixel куда лучше тянутся света. Это видно по лампам.

 

Выводы

Что в итоге? Apple ProRAW получился очень интересным инструментом для ценителей мобильной фотографии.

Отсутствие шума, отличный динамический диапазон в том числе за счет SMART HDR 3 и простота редактирования не только в Lightroom и профессиональном ПО, но и прямо в приложении фото на iPhone. Всё это позволяет раскрыть камеру в iPhone совершенно по новому.

И наверное главное, что пытался сделать Apple этим форматом — дать доступный и понятный инструмент не только профессионалам, но и простым пользователям с более завышенными требованиями которые никогда не работали с RAW.

Мы остаемся в парадигме обычной Point-and-Shoot камеры смартфона, получаем такой же качественный снимок, но с более гибкими настройками потом.

Преимущества и недостатки обычной RAW-фотографии — они отличаются по луку от обычных снимков. В них не видно какой-либо жесткой постобработки. Тот же шум остается, но и работать над ним нужно больше. Но в обоих случаях стоит помнить, что сырые снимки как RAW, так и ProRAW будут занимать существенно больше места на вашем iPhone или в облаке примерно в 10 раз.

На прошлой неделе стало известно о том, что компания Google уже достаточно давно работает над новым Camera API для операционной системы Android. Однако пока разработчики не готовы показать финальный вариант.

 

Сейчас в сети появилась новая информация. Представители Интернет гиганта официально подтвердили факт разработки, а также рассказали о том, что новое приложение «Камера» сможет делать снимки в формате RAW.  Увы, точные сроки релиза не называются.
(далее…)