Мы находимся в уникальной точке, когда трудно понять увидев два снимка — какой из них снят на смартфон, а какой на профессиональный фотоаппарат?

Но как так получилось, что смартфоны стали снимать настолько хорошо? Сегодня мы разберем как работает цифровая фотография на глубоком уровне. Соберём ведро света и узнаем в чём суть квантовой эффективности!

Для начала давайте разберемся, как так происходит, что в объектив камеры попадает свет, а на выходе мы получаем красивенький цветастый снимок? И для простоты, сразу начнем с аналогии. Внутри любой цифровой камеры установлена матрица, которая состоит из миллионов пикселей. Так вот пиксели эти, по своей сути, похожи на ведра только собирают они не капельки дождя, а частички света.

Что я имею ввиду?

Главный элемент каждого пикселя — это фотодиод. Это такой кусочек кремния, обладающий чудесным свойством — когда на него попадает фотон света, он высвобождает электрон. Задача камеры собрать все эти электроны и подсчитать их. Но зачем подсчитывать электроны и как вообще это происходит?

Пока мы делаем фотографию — этот процесс называется экспонирование — каждый высвобожденный электрон скапливается в некой ловушке — потенциальной яме. А когда экспонирование закончено мы замеряем сколько электронов скопилось. Так мы понимаем сколько света попало на пиксель и насколько ярким он должен быть.

Если вернуться к аналогии с ведром. Если оно наполнено электронами доверху — значит пиксель будет белый, то есть иметь 100% яркость. А если ведро наполнилось наполовину, то яркость будет 50%. Так, подсчитав сколько электронов высвободил каждый пиксель, мы можем составить изображение.

Но чтобы изображение получилось качественным, нам важны две вещи. Первая — чтобы объем ведра был большим, то есть оно были глубоким. Потому что иначе оно будет быстро переполняться, электроны полезут через край и вместо полезной информации мы получим просто засвеченный пиксель.

Также для нас важно, чтобы в ведро поступало много света. Потому как даже в самых лучших матрицах, ведра собирающие электроны, скажем так, не очень чистые. Там всегда есть довольно солидный осадок паразитных электронов, которые на фотографии проявляются в виде шума. Откуда он берется?

Во-первых, сама матрица по умолчанию немного шумит. Поэтому, даже если никакого света на матрицу не поступает, в наших ведрах всегда будет сколько-то электронов.

Во-вторых, свет может просто переотразиться и прилететь к вам с соседнего пикселя. Это называется перекрестный ток.

Поэтому в случае, когда мы фотографируем днём и наши ведра заполнены светом, мы можем легко отделить сигнал от шума. Просто потому что сигнала намного больше чем шума.

А когда мы фотографируем в темноте и фотонов поступает очень мало, отделить сигнал от шума становится очень сложно.

Исходя из сказанного выше, мы можем сделать достаточно простые выводы. Для того чтобы у нас получились классные фотографии нам нужно:

• Чтобы у пикселя была большая площадь. Тогда он сможет улавливать больше фотонов света.
• Чтобы у пикселя была большая емкость. Тогда он сможет удерживать больше электронов и это повысит динамический диапазон, то есть будут детали и в светах, и в тенях.
• Нам надо много пикселей, чтобы картинка была детализированной.

Как соблюсти все три условия? Ответ простой: нам нужна большая матрица с большими пикселями!

Но в смартфонах большую матрицу разместить невозможно, поэтому даже самые крупные матрицы в смартфонах проигрывают по размерам полнокадровым фотоаппаратом в десятки раз.

• Galaxy S20 Ultra 108MP 0.8µm. 1/1.33″. ~69.5mm²
• Pixel 4, iPhone 11 12MP 1.4µm. 1/2.55″. ~23.9mm².
• Full Frame, 30.1MP 5.36 µm 36×24 mm, 864mm2

Получается безоговорочная победа фотоаппаратов. Но почему же мы не видим в больших фотоаппаратах в десятки раз выше светочувствительность, в десятки раз меньше шума и выше динамический диапазон?

Квантовая эффективность

И вот тут начинается самое интересное. Как и в других сферах жизни, кроме размера есть масса иных важных факторов. И тут я имеею ввиду такую штуку как квантовая эффективность пикселя. Что это такое?

Дело в том, что фотодиоды не идеальны. По хорошему, на один поглощенный фотон должен высвобождаться один электрон. Но такое происходит далеко не всегда. Может быть ситуация, что прилетело 10 фотонов, а высвободилось всего 5 электронов. Это значит, что половину фотонов мы вообще никак не использовали и квантовая эффективность в этом случае равна 50%.

В современных полнокадровых беззеркальных камерах Sony, таких как A7S II, A7S III, A7R IV квантовая эффективность колеблется в районе 55-64%. И эти камеры считаются чемпионами по светочувительности и идеально подходят для съемки при низком освещении, астрофотографии и прочего. Владельцы Sony не дадут соврать — классные камеры. Примерно такая же ситуация с камерами Nikon.

60 процентов — звучит неплохо, да? Но по меркам смартфонов такая эффективность — это детский лепет.

Еще пару лет назад квантовая эффективность в смартфонах была 90-100%. А в новых сенсорах ISOCELL от Samsung она достигает 120%! Это значит, что на один поглощенный фотон свет высвобождается в среднем больше 1 электрона! WOW! Этот показатель в 2 раза выше чем современных полнокадровых камерах! То есть матрицы в смартфонах в 2 раза более эффективные!

Ёмкость

Но это только половина дела. Вы заметили, что в прошлом году разрешение камер смартфонов резко скакнуло вверх? Со стандартных 12 Мп до 48, 64 и даже 108 МП. При этом размер пикселей сильно уменьшился с 1,4 мкм (Sony IMX 363), которые до сих пор ставят в смартфоны Pixel, до 0.8 мкм (ISOCELL Bright HM1).

По идее уменьшение размера пикселя должно негативно отразиться на светочувствительности и на динамическом диапазоне. Но этого не произошло. Почему?

Дело в том, что несмотря на то что фотодиоды стали уже, они стали существенно выше и больше по своему объёму.

Поэтому, несмотря на уменьшение размера пикселя, емкость потенциальной ямы для каждого пикселя стала больше. Например, в последних сенсорах Samsung, которые стоят в Galaxy S20 и S21 ёмкость потенциальной ямы 6000 электронов.

А в режиме пиксель биннига, то есть объединения пикселей, емкость увеличивается до 12000 электронов. Для сравнения в больших камерах эта емкость колеблется в районе 25-30 тысяч электронов, то есть разница всего в 2 раза, а не в десятки раз.

Подробнее о том как работает пиксель биннинг мы рассказывали в ролике про 108 МП сенсор в Xiaomi Note 10, посмотрите.

При этом также сильно улучшилось соотношение сигнал/шум. Теперь каждый пиксель стал отгорожен стеной и это позволило избавиться от перекрестных помех.

Поэтому, несмотря на то, что пиксели технически становятся меньше, повышается их эффективность и емкость.

Алгоритмы

Но ключевой козырь мобильной фотографии — это конечно умные алгоритмы.

Google со линейкой своих смартфонов показал, что только за счёт совершенствования своего алгоритма HDR+ они могут из года в год уделывать всех конкурентов даже не меняя сенсор, они используют Sony IMX363, уже три года поряд.

Но в чём суть магии алгоритмов?

Алгоритмы типа HDR+ работают по принципу image stacking, то есть очень быстро делается несколько снимков и склеиваются в один.

За счёт этого получается сильно уменьшить количество шума, просто потому что значения шума усредняются, а также добиться потрясающего динамического диапазона. Благодаря этому преимущество в ёмкости потенциальной ямы у больших сенсоров практически полностью нивелируется.

К примеру, делая фотографию на Google Pixel в режиме Super Res Zoom склеиваются 15 снимков. Это позволяет добиться уровня шума эквивалентного матрице формата APS-C, то есть существенно большего размера.

А в режиме ночной съёмки, при склеивании 9-15 снимков с выдержкой ¼ секунды, мы получаем эквивалент 5-секундной выдержки с большого фотоаппарата. Но при этом на телефон мы снимаем с рук и ничего не смазывается. А на фотоаппарат такие снимки можно сделать только со штатива.

И это только малая часть технологий, которые сейчас применяются в смартфонах. Подробнее о вычислительной фотографии мы говорили в других материалах.

Почему в фотоаппаратах такого нет?

Всё понятно. Технологии в смартфонах продвинулись очень далеко. Но что мешает производителям добавить все эти технологии в большие фотоаппараты?

Например, та же Sony делает матрицы и для смартфонов, и для своих камер. Так в чем проблема? И тут есть несколько причин.

Во-первых, рынок смартфонов существенно более конкурентный и динамичный, чем рынок профессиональных камер. Тут сильно больше игроков, а смартфоны меняют гораздо чаще, чем камеры. Тут инновации происходят каждый год. Ну почти… А в больших фотокамерах, дай бог, раз в пять лет что-то новое покажут. И скорее всего, частично это будут те технологии, которые уже обкатали на смартфонах.

На рынке смартфонов всегда одновременно соревнуется несколько сенсоров, которые по-разному, с точки зрения софта, воплощает несколько компаний. Поэтому все инновации сначала подпадают в смартфоны, а уже потом в профессиональные камеры.

А во-вторых, вы не поверите, но к камерам смартфонов существенно более высокие требования. Потому как большие камеры покупают профессионалы, которые знают и привыкли возиться с постобработкой. А типичный юзер смартфона любит, чтобы нажал кнопку — и шедевр! Поэтому камеры смартфонов, со своими маленькими сенсорами и горе-фотографом просто нуждаются в инновациях. А продвинутые фотокамеры нет.

Итоги

Конечно, я не хочу сказать, что телефоны снимают лучше, чем фотоаппараты. Конечно это не так…

Какими бы ни были инновационными и эффективными матрицы в смартфонах, всё равно света на матрицу будет поступать очень мало, потому как в просто невозможно в смартфон установить большой сенсор и светосильный объектив. Поэтому более профессиональные камеры никуда не денуться. Им всегда найдется применение. Как и мобильным камерам, ведь большой фотик в карман не положишь. Камеры смартфонов очень хороши, но фотоаппараты все равно лучше. Особенно для профи. И про это у нас будет отдельное видео. Не пропустите.

Apple снова представили какой-то непонятный новый формат фотографии Apple ProRAW. Кому он нужен? Чем отличается от обычного RAW? Удобно ли этим пользоваться и заменит ли теперь iPhone профессиональный фотоаппарат? И главное — для кого он создан: для профессиональных фотографов или все же, скажем так, для продвинутых пользователей?

Мы наделали кучу снимков в новом формате. Все их обработали и готовы с вами поделиться нашими соображениями.

Что такое RAW и чем формат Apple отличается от привычного RAW?

Классический RAW

Что такое RAW в классическом понимании — это, по сути, цифровой негатив. Формат DNG так и расшифровывается — Digital Negative. То есть это сырые, необработанные и, главное, несжатые данные с матрицы.

В RAW-файл записано все, что попало в каждый пиксель матрицы до сжатия и постобработок, поэтому такие файлы весят много. А чтобы довести RAW-фотку до ума, нужно провести довольно много операций:

• покрутить яркость в темных и светлых участках,
• настроить насыщенность и контраст,
• подавить шум или оставить,
• поработать с цветами
• исправить искажения оптики и прочее.

Но с другой стороны, из RAW-фотографии можно вытянуть гораздо больше данных.

Частенько мы можем восстановить, казалось бы, совершенно утерянную информацию: засвеченное небо или проваленные тени. И, что особенно радует, можно абсолютно безболезненно править цвета, задрать насыщенность и не вылезет никаких артефактов. Ну или можем поправить баланс белого, если автоматика ошиблась.

Именно поэтому формат RAW уважают профессионалы — люди, которые привыкли обрабатывать снимки и выжимать максимум из каждого фото.

Apple ProRAW

Но всё о чем мы говорили справедливо по отношению к классическому RAW-файлу с какого-нибудь фотоаппарата. А вот Apple ProRAW — совсем другая история. В чем суть?

Дело в том, что в больших фотоаппаратах RAW данные сами по себе неплохие. За счет больших матриц и классной оптики мы получаем изначально хорошее соотношение сигнал/шум, хороший динамический диапазон и прочее. Поэтому довести такой снимок до ума не составит труда. А вот на сырые данные с матрицы телефона без слез вообще не взглянешь.

Вот посмотрите. Слева файл HEIC, к которому Apple применила всю мощь алгоритмов вычислительной фотографии, а справа RAW снимок, сделанный через приложение Moment. Представляете насколько сильно продвинулись алгоритмы?

Именно поэтому Apple представили новый формат ProRAW, который по максимуму используют все преимущества мира вычислительной фотографии.

Как это принято в вычислительной фотографии ProRAW также создается из нескольких снимков, которые склеиваются и всячески обрабатываются: подавляются шумы, увеличивается резкость, настраивается тональный контраст и прочее.

В итоге мы получаем 12-битный несжатый снимок с динамическим диапазоном в 14 стопов, что сопоставимо с динамическим диапазоном человеческого зрения.

Что же под капотом у Apple ProRAW?

Тут начинают работать алгоритмы Apple Smart HDR 3 и Deep Fusion — или в простонародии “режим свитера” — тот самый, который увеличивает четкость мелких объектов предварительно сегментировав их, используя машинное обучение.

Также удалось выяснить, что Apple ProRAW к тому же хранит семантическую карту, которую Apple использует для умного рендеринга объектов. Видите вот этот слой MATTE.

То есть смартфон понимает какие объекты, как обрабатывать, тут это больше относится к лицам и коже и в целом определение человека на снимке.

Данная карта используется и для портретов, и эффектов. Это может дать дополнительную гибкость в обработке для сторонних приложений. И, по сути, в RAW-снимках есть возможность включения портретного режима, добавление боке и портретного освещения.

Что же мы в итоге получаем — с одной стороны, снимок Apple ProRAW уже сразу выглядит классно и готов к публикации. С другой стороны в запасе дополнительная гибкость в его обработке.

Но значит ли это, что Apple ProRAW — это просто обычный снимок с iPhone, который при этом будет лучше тянуться за счет отсутствия сжатия?

И вот тут начинается самое интересное. Всё-таки ProRAW — это нечто куда более интересное и полезное для фотографа. Тут проще один раз увидеть, чем объяснять на пальцах. Поэтому перейдём к примерам.

Чтобы показать разницу усложним задачу для камеры. Мы сделали 2 снимка с полностью заниженной вручную экспозицией, видите как все темно и только небо и яркое солнце видны.

В галерее iPhone Apple ProRAW, HEIC и JPG выглядят почти одинаково, последний поярче, но смотрим на размер в половину мегабайта у обычной фотки против 22-х мегабайт у RAW.

Попробуем вытянуть максимум из сжатого снимка. Мы использовали встроенный редактор iPhone, что приятно он теперь умеет работать и с RAW. Но для этого можно использовать Lightroom.

На HEIC удалось вытянуть некоторые детали из теней: становятся видны дома, но очень блеклые и низкого качества — это предел.

В случае с ProRAW-файлом сразу становится заметно, что тянется он гораздо лучше, понятно, что мы сделали максимально сложные условия съемки, занизив экспозицию, но именно на таком примере видно сколько информации скрывает RAW за кулисами.

Разницу примерно поняли, теперь посмотрим на кадры с автоматическими настройками при дневном свете.

Снимки опять выглядят очень похоже, но можно заметить более насыщенную картинку на обычной фотке — в целом она выглядит выглядит выигрышнее кадра в ProRAW.

Стоит учесть, что DNG может быть проявлен по разному. Это зависит от используемого софта. Например, он может быть сильно темнее в Lightroom, но пугаться не стоит вся информация по-прежнему в нем. Так же DNG-формат унифицированный и он спокойно откроется даже стандартным вьювером Windows, но опять же отображаться может по разному.

Вообще DNG = это контейнер, в котором может быть несколько файлов — например, RAW+JPG или два HEIC — работать с этим умеют некоторые сторонние приложения, например, тот же Halide. Вернемся к фоткам.

Правим яркость, подтягиваем тени если надо и смотрим внимательно насколько неестественно выглядит обычный снимок.

iPhone сильнее высветлил тени — я бы чуть спрятал. Яркое небо — красиво? Но оно было не такое синее айфон его откровенно перекрасил и добавил чрезмерной насыщенности — такой сейчас тренд.

В целом, снимок выглядит презентабельно, но если вы хотели передать другое настроение, и вам нужен холст для творчества, на который лучше лягут пресеты и настройки — только RAW. Например, сделаем снимок драматично зеленым как в матрице. Работа с цветами в RAW — это отдельный кайф.

Еще один пример. Слева обычный снимок, справа ProRAW.

Если добиться одинаковой яркости, то можно заметить что на JPEG — гораздо больше шума — может показаться, что это агрессивный шумодав в ProRAW — да отчасти — но тут есть и обратная история — на обычной фотке еще лежит Sharp. И одним ползунком можно добиться одинакового результата.

Но вот вопрос нужен ли шумодав на RAW? Это штука достаточно чувствительная для фотографов и то что любимый благородный шум подавляется алгоритмами в ProRAW не всегда хорошо.

Но тут есть выход. Если вам не нравится как Deep Fusion что-то разгладил, а что-то сделал четче, то опять обращаемся например к приложению Halide.

Оно умеет снимать в ProRAW в нескольких режимах, как ни странно, в этот раз Apple стал полностью закрывать свой формат и дал разработчикам возможность отключать некоторые фишки в API. Например, Deep Fusion в API — то есть если нужен шум можно оставить как есть и мы получим только часть красот Computational RAW. Покрутим обе фотографии, до состояния, которое мне нравится.

В принципе, оба снимка выглядят круто. Но на JPEG вылезает белый контур вокруг неба. Прямо видно как работает алгоритм сегментации и покраски.

Еще один интересный бонус Apple ProRAW — это сьемка. В тёмных сценах тут особенно приятно, что можно использовать ночной режим iPhone. Правда, тут особенно видно насколько более агрессивно работает шумодав в формате ProRAW.

И, честно признаться, это даже неплохо, потому как мы практически не теряем деталей, но при этом шума нет даже в самых сложных сценах.

Особенно разница в подходе заметна по сравнению с Google Pixel.

Если вы не знали вычислительные RAW придумали не в Apple. Google представил такую фичу еще два года назад в Pixel 3. Но функция не стала популярной, потому как обычная фотка с HDR+ смотрелась выигрышнее, а RAW-фотографии мало что давали, они как будто немного не довели эту историю до ума.

Но тем не менее сравниться с батей технологии всё равно интересно.

В исходном виде кадр с пикселя: это тот, что справа — выглядит на мой взгляд, поинтереснее. Хороший контраст и объём.

Но если немного поднять тени, мы сразу видим, что Pixel прячет за этим контрастом. Поэтому очередные аплодисменты шумодаву от Apple.

Хотя если привести снимки примерно к одной яркости, и чуть добавить шумодава на Pixel. Мы получаем примерно одинаковый по детализации результат. Более того на Pixel куда лучше тянутся света. Это видно по лампам.

Выводы

Что в итоге? Apple ProRAW получился очень интересным инструментом для ценителей мобильной фотографии.

Отсутствие шума, отличный динамический диапазон в том числе за счет SMART HDR 3 и простота редактирования не только в Lightroom и профессиональном ПО, но и прямо в приложении фото на iPhone. Всё это позволяет раскрыть камеру в iPhone совершенно по новому.

И наверное главное, что пытался сделать Apple этим форматом — дать доступный и понятный инструмент не только профессионалам, но и простым пользователям с более завышенными требованиями которые никогда не работали с RAW.

Мы остаемся в парадигме обычной Point-and-Shoot камеры смартфона, получаем такой же качественный снимок, но с более гибкими настройками потом.

Преимущества и недостатки обычной RAW-фотографии — они отличаются по луку от обычных снимков. В них не видно какой-либо жесткой постобработки. Тот же шум остается, но и работать над ним нужно больше. Но в обоих случаях стоит помнить, что сырые снимки как RAW, так и ProRAW будут занимать существенно больше места на вашем iPhone или в облаке примерно в 10 раз.

Kodak и WENN Digital объявили о запуске KODAKOne — зашифрованной платформы, которая поможет хранить старые и новые фотографии, отслеживать их незаконное использование в интернете, продавать лицензии на интеллектуальную собственность.

Кроме того, была анонсирована KODAKCoin — криптовалюта, в которой будет производиться расчет вознаграждений.

Первичное предложение виртуальной валюты для инвесторов произойдет 31 января 2018 года в Америке, Канаде, Англии и других странах. Следить за проектом можно на официальном сайте.

Источник: Kodak

В рамках инициативы «appsperimental», как говорят в компании, были представлены программы для работы с видеороликами и фотографиями. Используются технологии компьютерного зрения.

Storyboard — превращает записи в страницу комикса. Доступно 1,6 триллионов вариантов визуального оформления благодаря различным эффектам.

Selfissimo! — автоматически снимает монохромные «себяшки» в тот момент, когда пользователь замирает.

Scrubbies — меняет скорость и порядок воспроизведения клипа от прикосновения. Все манипуляции можно сохранить.

Разумеется, все приложения доступны для бесплатного скачивания.

Источник: Google

Компании Futurizon и Sony Mobile узнали о перспективах мобильной фотографии и ожиданиях от портретной съемки на ближайшие 5 лет. Для этого были опрошены эксперты и 6 500 пользователей из Германии, Великобритании, Франции и Испании.

Результаты исследования были перегруппированы в 10 направлений, которые затрагивают самые разнообразные темы.

Источник: пресс-релиз

Привет, слушатели, читатели и зрители! На сей раз из регулярного Droider Show можно узнать про облик будущего флагмана Samsung, возможность анонса сразу пары Surface Phone от Microsoft, готовящийся безрамочный слайдер от ZTE и фатальный клип для смартфонов Apple.

Ещё в выпуске рассказывается про «умный» аксессуар для очков, почти идеальный планшет Eve V, «пульт Всевластия» и карманный дрон AirSelfie для сэлфи.

Бонусом от команды Droider идет шустрый обзор компактного принтера SP 150 и розыгрыш ценных призов (гарнитуры, планшеты, монитор) от Ricoh.

«Когда-то на свете не было смартфонов, поэтому люди делали настоящие фотографии. На самой обычной бумаге!», – с этой фразы началась реклама нового сервиса Google.

Команда сервиса Photos представила приложение для простой оцифровки бумажных снимков с помощью камеры смартфона или планшета.
(далее…)

Очередная серия Droider Show от Валерия Истишева и Бориса Веденского готова к просмотру! В выпуске рассказывается про топовый Mate 9 от Huawei и Leica, челобитье топ-менеджеров Samsung, внедрение в поиск «Яндекса» нейронных сетей и гнущийся смартфон Apple.

А ещё можно узнать про складной монитор SPUD от Arovia, российский коптер ДУС, модульный синтезатор Blocks и про то, что нейросети научились улучшать качество фотографий.

Google одна из первых позволила снимать 360-градусные фотографии с помощью смартфона. Такая возможность несколько лет доступна пользователям Android и фирменного приложения «Камера».

Однако компания пошла дальше и представила приложение Sprayscape для соединения фотографий в 360-градусные коллажи.
(далее…)

Популярность летнего фотохита Prisma убывает, однако разработчики продолжают развитие приложения.

Со свежим обновлением пользователи iOS получили возможность обрабатывать короткие видео через нейронные сети.
(далее…)