Мы находимся в уникальной точке, когда трудно понять увидев два снимка — какой из них снят на смартфон, а какой на профессиональный фотоаппарат?
Но как так получилось, что смартфоны стали снимать настолько хорошо? Сегодня мы разберем как работает цифровая фотография на глубоком уровне. Соберём ведро света и узнаем в чём суть квантовой эффективности!
Для начала давайте разберемся, как так происходит, что в объектив камеры попадает свет, а на выходе мы получаем красивенький цветастый снимок? И для простоты, сразу начнем с аналогии. Внутри любой цифровой камеры установлена матрица, которая состоит из миллионов пикселей. Так вот пиксели эти, по своей сути, похожи на ведра только собирают они не капельки дождя, а частички света.
Что я имею ввиду?
Главный элемент каждого пикселя — это фотодиод. Это такой кусочек кремния, обладающий чудесным свойством — когда на него попадает фотон света, он высвобождает электрон. Задача камеры собрать все эти электроны и подсчитать их. Но зачем подсчитывать электроны и как вообще это происходит?
Пока мы делаем фотографию — этот процесс называется экспонирование — каждый высвобожденный электрон скапливается в некой ловушке — потенциальной яме. А когда экспонирование закончено мы замеряем сколько электронов скопилось. Так мы понимаем сколько света попало на пиксель и насколько ярким он должен быть.
Если вернуться к аналогии с ведром. Если оно наполнено электронами доверху — значит пиксель будет белый, то есть иметь 100% яркость. А если ведро наполнилось наполовину, то яркость будет 50%. Так, подсчитав сколько электронов высвободил каждый пиксель, мы можем составить изображение.
Но чтобы изображение получилось качественным, нам важны две вещи. Первая — чтобы объем ведра был большим, то есть оно были глубоким. Потому что иначе оно будет быстро переполняться, электроны полезут через край и вместо полезной информации мы получим просто засвеченный пиксель.
Также для нас важно, чтобы в ведро поступало много света. Потому как даже в самых лучших матрицах, ведра собирающие электроны, скажем так, не очень чистые. Там всегда есть довольно солидный осадок паразитных электронов, которые на фотографии проявляются в виде шума. Откуда он берется?
Во-первых, сама матрица по умолчанию немного шумит. Поэтому, даже если никакого света на матрицу не поступает, в наших ведрах всегда будет сколько-то электронов.
Во-вторых, свет может просто переотразиться и прилететь к вам с соседнего пикселя. Это называется перекрестный ток.
Поэтому в случае, когда мы фотографируем днём и наши ведра заполнены светом, мы можем легко отделить сигнал от шума. Просто потому что сигнала намного больше чем шума.
А когда мы фотографируем в темноте и фотонов поступает очень мало, отделить сигнал от шума становится очень сложно.
Исходя из сказанного выше, мы можем сделать достаточно простые выводы. Для того чтобы у нас получились классные фотографии нам нужно:
- Чтобы у пикселя была большая площадь. Тогда он сможет улавливать больше фотонов света.
- Чтобы у пикселя была большая емкость. Тогда он сможет удерживать больше электронов и это повысит динамический диапазон, то есть будут детали и в светах, и в тенях.
- Нам надо много пикселей, чтобы картинка была детализированной.
Как соблюсти все три условия? Ответ простой: нам нужна большая матрица с большими пикселями!
Но в смартфонах большую матрицу разместить невозможно, поэтому даже самые крупные матрицы в смартфонах проигрывают по размерам полнокадровым фотоаппаратом в десятки раз.
- Galaxy S20 Ultra 108MP 0.8µm. 1/1.33″. ~69.5mm²
- Pixel 4, iPhone 11 12MP 1.4µm. 1/2.55″. ~23.9mm².
- Full Frame, 30.1MP 5.36 µm 36×24 mm, 864mm2
Получается безоговорочная победа фотоаппаратов. Но почему же мы не видим в больших фотоаппаратах в десятки раз выше светочувствительность, в десятки раз меньше шума и выше динамический диапазон?
Квантовая эффективность
И вот тут начинается самое интересное. Как и в других сферах жизни, кроме размера есть масса иных важных факторов. И тут я имеею ввиду такую штуку как квантовая эффективность пикселя. Что это такое?
Дело в том, что фотодиоды не идеальны. По хорошему, на один поглощенный фотон должен высвобождаться один электрон. Но такое происходит далеко не всегда. Может быть ситуация, что прилетело 10 фотонов, а высвободилось всего 5 электронов. Это значит, что половину фотонов мы вообще никак не использовали и квантовая эффективность в этом случае равна 50%.
В современных полнокадровых беззеркальных камерах Sony, таких как A7S II, A7S III, A7R IV квантовая эффективность колеблется в районе 55-64%. И эти камеры считаются чемпионами по светочувительности и идеально подходят для съемки при низком освещении, астрофотографии и прочего. Владельцы Sony не дадут соврать — классные камеры. Примерно такая же ситуация с камерами Nikon.
60 процентов — звучит неплохо, да? Но по меркам смартфонов такая эффективность — это детский лепет.
Еще пару лет назад квантовая эффективность в смартфонах была 90-100%. А в новых сенсорах ISOCELL от Samsung она достигает 120%! Это значит, что на один поглощенный фотон свет высвобождается в среднем больше 1 электрона! WOW! Этот показатель в 2 раза выше чем современных полнокадровых камерах! То есть матрицы в смартфонах в 2 раза более эффективные!
Ёмкость
Но это только половина дела. Вы заметили, что в прошлом году разрешение камер смартфонов резко скакнуло вверх? Со стандартных 12 Мп до 48, 64 и даже 108 МП. При этом размер пикселей сильно уменьшился с 1,4 мкм (Sony IMX 363), которые до сих пор ставят в смартфоны Pixel, до 0.8 мкм (ISOCELL Bright HM1).
По идее уменьшение размера пикселя должно негативно отразиться на светочувствительности и на динамическом диапазоне. Но этого не произошло. Почему?
Дело в том, что несмотря на то что фотодиоды стали уже, они стали существенно выше и больше по своему объёму.
Поэтому, несмотря на уменьшение размера пикселя, емкость потенциальной ямы для каждого пикселя стала больше. Например, в последних сенсорах Samsung, которые стоят в Galaxy S20 и S21 ёмкость потенциальной ямы 6000 электронов.
А в режиме пиксель биннига, то есть объединения пикселей, емкость увеличивается до 12000 электронов. Для сравнения в больших камерах эта емкость колеблется в районе 25-30 тысяч электронов, то есть разница всего в 2 раза, а не в десятки раз.
Подробнее о том как работает пиксель биннинг мы рассказывали в ролике про 108 МП сенсор в Xiaomi Note 10, посмотрите.
При этом также сильно улучшилось соотношение сигнал/шум. Теперь каждый пиксель стал отгорожен стеной и это позволило избавиться от перекрестных помех.
Поэтому, несмотря на то, что пиксели технически становятся меньше, повышается их эффективность и емкость.
Алгоритмы
Но ключевой козырь мобильной фотографии — это конечно умные алгоритмы.
Google со линейкой своих смартфонов показал, что только за счёт совершенствования своего алгоритма HDR+ они могут из года в год уделывать всех конкурентов даже не меняя сенсор, они используют Sony IMX363, уже три года поряд.
Но в чём суть магии алгоритмов?
Алгоритмы типа HDR+ работают по принципу image stacking, то есть очень быстро делается несколько снимков и склеиваются в один.
За счёт этого получается сильно уменьшить количество шума, просто потому что значения шума усредняются, а также добиться потрясающего динамического диапазона. Благодаря этому преимущество в ёмкости потенциальной ямы у больших сенсоров практически полностью нивелируется.
К примеру, делая фотографию на Google Pixel в режиме Super Res Zoom склеиваются 15 снимков. Это позволяет добиться уровня шума эквивалентного матрице формата APS-C, то есть существенно большего размера.
А в режиме ночной съёмки, при склеивании 9-15 снимков с выдержкой ¼ секунды, мы получаем эквивалент 5-секундной выдержки с большого фотоаппарата. Но при этом на телефон мы снимаем с рук и ничего не смазывается. А на фотоаппарат такие снимки можно сделать только со штатива.
И это только малая часть технологий, которые сейчас применяются в смартфонах. Подробнее о вычислительной фотографии мы говорили в других материалах.
Почему в фотоаппаратах такого нет?
Всё понятно. Технологии в смартфонах продвинулись очень далеко. Но что мешает производителям добавить все эти технологии в большие фотоаппараты?
Например, та же Sony делает матрицы и для смартфонов, и для своих камер. Так в чем проблема? И тут есть несколько причин.
Во-первых, рынок смартфонов существенно более конкурентный и динамичный, чем рынок профессиональных камер. Тут сильно больше игроков, а смартфоны меняют гораздо чаще, чем камеры. Тут инновации происходят каждый год. Ну почти… А в больших фотокамерах, дай бог, раз в пять лет что-то новое покажут. И скорее всего, частично это будут те технологии, которые уже обкатали на смартфонах.
На рынке смартфонов всегда одновременно соревнуется несколько сенсоров, которые по-разному, с точки зрения софта, воплощает несколько компаний. Поэтому все инновации сначала подпадают в смартфоны, а уже потом в профессиональные камеры.
А во-вторых, вы не поверите, но к камерам смартфонов существенно более высокие требования. Потому как большие камеры покупают профессионалы, которые знают и привыкли возиться с постобработкой. А типичный юзер смартфона любит, чтобы нажал кнопку — и шедевр! Поэтому камеры смартфонов, со своими маленькими сенсорами и горе-фотографом просто нуждаются в инновациях. А продвинутые фотокамеры нет.
Итоги
Конечно, я не хочу сказать, что телефоны снимают лучше, чем фотоаппараты. Конечно это не так…
Какими бы ни были инновационными и эффективными матрицы в смартфонах, всё равно света на матрицу будет поступать очень мало, потому как в просто невозможно в смартфон установить большой сенсор и светосильный объектив. Поэтому более профессиональные камеры никуда не денуться. Им всегда найдется применение. Как и мобильным камерам, ведь большой фотик в карман не положишь. Камеры смартфонов очень хороши, но фотоаппараты все равно лучше. Особенно для профи. И про это у нас будет отдельное видео. Не пропустите.
