70% информации о мире человек получает через зрение. Фактически глаза — наш главный орган чувств. Но можем ли мы доверять нашему зрению?

Давайте взглянем на картинку. Вроде ничего необычного. Но что если я вам скажу, что ячейки A и B — совершенного одного цвета.

На самом деле мы не всегда можем отличить светлое от темного. Далеко за примерами ходить не надо: помните синее-черное / бело-золотое платье или появившиеся чуть позже кроссовки?

И все современные экраны пользуются этой особенностью человеческого зрения. Вместо настоящего света и тени нам показывают их имитацию. Мы настолько к этому привыкли, что даже не представляем что может быть как-то иначе. Но на самом деле может. Благодаря технологии HDR, которая намного сложнее и интереснее, чем вы думаете. Поэтому сегодня мы поговорим, что такое настоящее HDR-видео, поговорим про стандарты и сравним HDR10 и HDR10+ на самом продвинутом QLED телевизоре!

На самом деле первое, что надо знать про HDR: это не просто штука, которая правильно хранит видео. Чтобы увидеть HDR-контент нам нужно две составляющие: сам контент, и правильный экран, который его поддерживает. Поэтому смотреть мы сегодня будем на QLED-телевизоре Samsung.

6 стопов SDR

Ежедневно наши глаза сталкиваются с экстремальными перепадами яркости. Поэтому человеческое зрение в ходе эволюции научилось видеть достаточно широкий динамический диапазон (ДД), то есть разницу улавливать разницу между разными уровнями яркости. Фотографы и киноделы знают, что ДД измеряется в ступенях экспозиции или стопах (f-stop).

Так сколько стопов видит человеческий глаз? Скажу так — по разному.

Если завязать вам глаза, вывести в незнакомое место и резко снять повязку, то в эту секунду вы увидите 14 стопов экспозиции. Это не мало. Вот камера, на которую я снимаю ролики, видит только 12 стопов. И это ничто по сравнению с человеческим зрением, потому что оно умеет адаптироваться.

Спустя пару секунд, когда ваши глаза привыкнут к яркости и обследуют пространство вокруг, настройки зрения подкрутятся и вы увидите потрясающую игру света и тени из 30 стопов экспозиции!

Ух! Красота! Но когда мы смотрим видео на ТВ или на экране смартфона, нам остаётся довольствоваться только 6 стопами экспозиции, потому как видео со стандартным динамическим диапазоном или SDR — больше не поддерживает.

Яркость

Почему так мало? Вопрос исторический и связан он с двумя этапами.

Стандарты современного SDR видео зародились еще в середине 20-го века, когда появилось цветное телевидение. Тогда существовали только ЭЛТ телевизоры, и они были очень тусклые. Максимальная яркость была 100 нит или кандел на квадратный метр. Кстати, кандела — это свеча. Поэтому 100 кандел на квадратный метр буквально означает уровень яркости 100 свечей, расположенных на площади в 1 метр. Но если вам не нравится измерять яркость в свечах, вместо кандел на квадратный метр можно просто говорить ниты. Кстати в нашем телевизоре Samsung Q950T — 4000 нит.

Так вот, это ограничение яркости было заложено в стандарт SDR. Поэтому современные телевизоры показывая SDR-контент по сути игнорируют потрясающую адаптивность человеческого зрения подсовывают нам тусклую и плоскую картинку. И это несмотря на то, что с тех пор техника сильно продвинулись вперед.

Одной из особенностей технологии QLED является высокая пиковая яркость. Это самые яркие ТВ на рынке, они даже ярче OLED.

Современные QLED-телевизоры способны выдавать целых 4000 нит яркости, что в 40 раз больше, чем заложено в стандарт SDR. Потрясающе — показывай, что хочешь. Но по-прежнему 99% контента, который мы видим — это SDR, поэтому смотря YouTube на своём потрясающем AMOLED-дисплее, вы фактически смотрите эмуляцию кинескопа из гостиной времен разгара холодной войны. Такие дела.

Глубина цвета

Второе ограничение тоже происходит из глубокой древности — 1990-х.

Тогда появился революционный стандарт — цифровое телевидение высокой четкости — HDTV, частью которого стала глубина цвета 8 бит. Это значит, что у каждого из базовых цветов — красного, зеленого и синего — может быть только 256 значений. Возводим 2 в 8-ю степень получается 256 — это и есть 8 бит. .

Итого на три канала, всего 16 777 216 миллионов оттенков.

Кажется, что это много. Но человек видит куда больше цветов. И все эти некрасивые ступенчатые переходы, которые часто можно заметить на видео и фотографиях и конечно в YouTube, спасибо его фирменному кодеку — это как раз ограничения 8 бит.

Но самое интересное, что эти два ограничения: 6 стопов экспозиции и 8 бит на канал, не позволяли SD-видео сымитировать главную особенность человеческого зрения — его нелинейность! Поэтому поговорим про восприятие яркости.

Восприятие яркости

Так уж эволюционно сложилось, что для человека всегда было важнее, что там находится в тени, чем на ярком солнце. Поэтому человеческий глаз гораздо лучше различает темные оттенки. И поэтому любое цифровое изображение кодируется не линейно, чтобы как можно больше бит информации отдать под темные участки изображения.

Иначе, для человеческого глаза в тенях перепады между уровнями яркости будут уж слишком большие, в светах, наоборот, совершенно незаметные, особенно если у вас в распоряжении всего 256 значений, которые есть в распоряжения SDR видео.

Но в отличие от SDR — HDR видео кодируется с глубиной цвета, как минимум 10 бит. А это 1024 значения на канал и итоговые более миллиарда оттенков (1024 x 1024 x 1024 = 1 073 741 824)

А предельная яркость изображения в HDR видео стартует от 1000 нит и может достигать 10000 нит. Это в 100 раз ярче SDR!

Такое раздолье позволяет закодировать максимум информации в темных участках изображения и показать картинку куда более естественную для человеческого глаза.

Метаданные

Итак, мы с вами выяснили, что возможности HDR сильно превосходят SDR, и HDR показывает куда более страшную и всю из себя контрастную картинку, но! Какая разница, какой там у тебя формат видео, SDR или HDR, если качество изображения всё равно зависит от экрана, на котором ты смотришь. На некоторых экранах SDR выглядит так насыщенно и контрастно, что HDR даже и не снилось. Всё так!

Все дисплеи отличаются. Они по-разному откалиброваны, в них разный уровень яркости и прочие параметры.

Но HDR-видео в отличие от SDR не просто выводит изображение на экран, но еще и умеет сообщать телевизору, как именно нужно его показывать! Делается это при помощи так называемых метаданных.

Они бывают двух видов.

Статические метаданные. Содержат в себе настройки настройки яркости и контраста всего видео целиком. Например, человек, который мастерил какое-нибудь атмосферное, темное кино может указать, что максимальная яркость в этом фильме всего 400 нит. Поэтому телевизор с яркостью 4000 нит не будет задирать яркость и превращать ваш хоррор-фильм в детский утренник. Или наоборот фильм с яркостью 4000 нит по максимуму раскроется не только на телевизоре, который тянет такую яркость, но и на более тусклом экране, так как картинка правильно сожмётся до возможностей телевизора.

Но бывают такие фильмы, которые в целом темные, но в них есть сцены с яркими вспышками света. Или например фильм про космос, в котором ярко сияют звезды. В таких случаях необходимо настроить яркость каждой сцены отдельно.

Для это существуют динамические метаданные. Они содержат в себе настройки каждого пикселя в каждом кадре фильма. Более того, эти метаданные содержат информацию на каком дисплее мастерился контент. А значит ваш дисплей может взять эти настройки и адаптировать изображение так, чтобы вы получили максимально приближенную к задумке автора картинку.

HDR10 и HDR10+

Самый распространённый формат с поддержкой статический метаданных — это HDR10. Более того это самый распространенный HDR формат в принципе. Если видите наклейку HDR на телевизоре — знайте: он поддерживает HDR10. Это его плюс.

Но поддержка только статических метаданных не позволяют назвать его настоящим HDR. Поэтому компания Samsung, совместно с 20th Century Fox и Panasonic решили исправить это недоразумение и добавили к HDR10 поддержку динамических метаданных, назвав новый стандарт — HDR10+.

Получился он царский — 10 бит, 4000 нит, более миллиарда оттенков. Но видна ли разница между HDR10 и 10+ на практике.

У нас есть QLED телевизор Samsung Q950T, который как раз поддерживает оба формата. Поэтому сравнение будет максимально корректным. Мы запустили кино, которые смастерили в HDR10 и HDR10+. И знаете, что — я действительно увидел разницу. На этом телевизоре и HDR10 выглядит круто, а HDR10+ вообще разрывает шаблон. И дело не только в стандарте HDR10+.

Adaptive Picture

Дело в том, что HDR-контент существенно более придирчив к качеству дисплея, чем SDR. Например, яркость в HDR-видео указывается не в относильных значениях, то есть в процентах, а в абсолютных — в нитах. Поэтому, хочешь не хочешь, но если в метаданных указано, что этот конкретный участок изображения должен светить 1000 нит нужно, чтобы телевизор сумел выдать такую яркость. Иначе, это уже будет не HDR.

А если, вдруг, вы смотрите видео днём, в ярко освещенной комнате, то нужно еще компенсировать окружающее освещение. Большинство устройств не справляются с этой задачей. Но, у QLED телевизоров Samsung, в этом плане есть, огромное преимущество.

Во-первых, в них используется технология Adaptive Picture, которая подстраивает яркость и контрастность изображения в зависимости от окружающего освещения.

Во-вторых, как я уже говорил, запас яркости в QLED — 4000 нит. А этого с головой хватит для компенсации практически любого внешнего освещения.

В отличие от OLED-телевизоров, которые могут выдавать необходимый уровень контраста только при плотно зашторенных шторах.

Другие технологии

Естественно, это не единственная крутая технология внутри данного телевизора. Здесь установлен мощный нейропроцессор Quantum 8K, который в реальном времени умеет апскейлить 4K-контент до 8К. Причём он не просто повышает четкость изображения, он распознаёт разного типа текстуры и дополнительно их прорабатывает. Еще тут сверхширокие углы обзора, прекрасный объемный звук, который кстати тоже адаптируется под уровень шума в помещении в реальном времени. И масса других технологии, эксклюзивных для QLED-телевизоров Samsung.

Но главная технология сегодняшнего вечера HDR10+ — и, что прекрасно — это не эксклюзив.

HDR10+ — это открытый и бесплатный стандарт, как и обычный HDR10. Всё это дает ему огромное преимущество перед, по сути, таким же, но платным Dolby Vision. Поэтому HDR10+ есть не только в телевизорах и смартфонах Samsung — его поддерживают практически все производители телевизоров, смартфонов, камер, ну и, конечно, в этом формате снимаются и делаются фильмы. А значит у HDR10+ есть все шансы стать настоящим народным стандартом HDR, которым вы сможете насладиться на всех экранах страны, как больших, так и малых.

Берем современный смартфон. Открываем камеру. Фотографируем. И сразу получаем хороший снимок. Вообще ничего не настраивая, вообще не задумываясь, а справится ли эта камера!

Сырой снимок, до обработки всеми алгоритмами, выглядит довольно серо и уныло. Но мы получаем яркий, насыщенный кадр.

Но как мы дошли до жизни чудесной такой, что современные смартфоны делают такие крутые снимки, как по волшебству? Но это не волшебство…

Сегодня мы поговорим про шесть этапов, которые проходит цифровая фотография прежде, чем превратиться в шедевр в памяти вашего смартфона.

1. Фотоны света

Итак, первый этап. Свет проходит через объектив и попадает на матрицу. И дальше начинается магия… В нашем случае магия будет происходить на флагмане Samsung Galaxy S20 Fan Edition.

Мы знаем, что матрица состоит из миллионов пикселей. В данном случае — 12. Тут тройная камера: широкоугольная, сверхширокоугольная и трехкратный зум.

Но мы сперва поговорим про основную, на которую делается большинство снимков. Итак, каждый пиксель, в свою очередь, состоит из множества деталей, но главная из них — фотодиод. Задача этой штуки улавливать фотоны свет и преобразовывать их в электричество. Как он это делает?

Смотрите, фотодиод состоит из кремния. А кремний — это материал с интересными свойствами. Например, если подать на него ток, он становится чувствительным к электромагнитному излучению в диапазоне от 400 до 1100 нм. А это как раз, перекрывает видимый человеком спектр излучения. Мы видим длину волны от 380 до 740 нм, а кремний от 400 до 1100 нм. Получается, что кремний видит практически то же самое что и мы, плюс немного инфракрасного излучения.

Кстати, о цветах смартфонах: синий, красный, оранжевый, белый, мята, лаванда. Цвета Samsung Galaxy S20 FE создали на основе опроса и включили все самые востребованные фишки.

Но что значит, видит? Поясняю, когда фотоны света попадают на фотодиод: фотон, проникший внутрь кремния выбивает электрон, который проваливается в так называемую, потенциальную яму или ловушку для электронов.

Дальше, подсчитав количество электронов в этой ловушке мы можем понять сколько света попало на пиксель. А значит мы можем определить яркость пикселя. Например, если фотонов попало мало, значит пиксель будет черным, а если много значит белым.

И вот тут есть важный момент. На данном этапе для матрицы важно не растерять ни один фотон света. Чем больше фотонов преобразуется в электроны тем эффективнее работает матрица.

И положа руку на сердце, еще года 3 назад, матрицы были не особо эффективны. Где-то на 10 фотонов вырабатывалось 4-6 электронов. Этот показатель называется квантовой эффективностью и раньше она была 40-60%.

Почему так происходило? В основном, просто потому, что фотоны просто не попадали на фотодиод. Даже несмотря на то что над каждым пикселем уже давно ставят специальные микролинзы, который фокусируют свет в центр пикселя. Всё равно много фотонов переотражалось и терялось или того хуже попадало на соседний пиксель, из-за чего падала эффективности появлялись перекрестные помехи.

Это проблему решила компания Samsung представив технологию ISOCELL Plus. По сути, это технология изолированных ячеек. Они со всех сторон пикселя нарастили тонкие стенки, которые полностью изолируют один пиксель от другого.

Также Samsung увеличили сами пиксели, но не вширь, пиксели даже стали ближе располагаться друг к другу. При этом увеличилась глубина и соответственно его объём, что увеличило емкость потенциальной ямы. Тем самым повышался динамический диапазон.

Всё это позволило увеличить долю работающих фотонов (это называется квантовой эффективностью) пикселя до 120%. Это значит, что один фотон света возбуждает больше одного электрона. Отсюда потрясающая светочувствительность матриц ISOCELL Plus.

К примеру, вот Galaxy S20 Fan Edition, тут стоит на мой взгляд, самый оптимальный сенсор от Samsung — Samsung S5K2LD.

Почему самый оптимальный. Ну смотрите, во-первых разрешение — 12МП? а больше и не надо. Это ISOCELL Plus. И главное, размер пикселя тут 1.8 мкм! А это очень много…

Кстати, другие характеристики у Samsung Galaxy S20 FE тоже в порядке:

• Тут мощный флагманский Exynos 990
• Оптический зум 3x
• Сверхширокоугольный — 12 МП
• Экран Infinity-O, 120 ГЦ, не скругленный!
• UFS 3.1 в конце концов. Даже в S20 только 3.0.
• Живущий аккумулятор на 4500 мА*ч, представляете!

Между прочим, нужно добавить, что его создали на основе опроса и включили все самые востребованные фишки.

2. RAW

Окей, теперь этап номер два. После того как мы собрали электроны в потенциальной яме, нам надо их подсчитать и оцифровать. То есть собрать все сырые данные… и дальше есть два варианта. Либо все сырые данные собираются в файл RAW. Такие файлы любят все профессионалы или просто увлеченные фотографы.

Дело в том, что RAW файлами можно манипулировать как тебе вздумается. Можно поправить баланс белого, вытягивать тени, и даже яркие участки, если повезло. Можно играться с шумоподавлением и прочее.

Раньше такой формат был доступен только на больших цифровых фотиках. А теперь в тех же смартфонах Samsung можно фотографировать в RAW в ручном режиме камеры. Также в этом режиме можно выставлять экспозицию, выдержку, всё как вы любите. И отредактировать в мобильном редакторе.

3. Дебайеризация

Третий этап — дебайеризация. Чо это такое?

Мы помним, что кремний реагирует на достаточно широкий спектр света. Но при этом он не различает цвета. Поэтому, чтобы получить цветное изображение на матрицу накладывается сетка цветовых фильтров. Наиболее распространённый вариант компоновки такой сетки — это RGB фильтр Байера: где на каждый синий и красный сектор приходятся два зеленых. Это кстати интересная особенность восприятия нами изображения.

В итоге, при фильтрации света таким образом, на выходе мы получаем мозаику из красных зеленых и синих пикселей с массой пустых областей.

И вот, для того чтобы восстановить полноценное цветное изображение, нам нужно заполнить отсутствующие данные в каждом канале цвета, например при помощи усреднения значений соседних пикселей, в которых есть данные. Этот процесс называется дебайеризацией.

Раньше этот этап был достаточно прямолинейным. Но после появления технологии ISOCELL и подобных производители научились делать очень маленькие пиксели меньше размером, то есть всего меньше одного микрона. И они стали объединять четыре пикселя, такие матрицы называются TetraCell, или даже девять пикселей — это Nonacell — под одним цветовым фильтром. Как в S20 Ultra например.

Это позволило при недостаточном освещении объединять пиксели и получать один суперпиксель, состоящий из четырёх или девяти пикселей. А днем наоборот можно снимать в полном разрешении используя обратный алгоритм дебайеризации.

В этом смартфоне, все основные модули имеют обычную Quad Bayer структуру, а вот фронтальная камера — TetraCell. Потому можно выбирать какой селфи вы хотите сделать — на 8 или на 32 МП.

4.HDR

И вот мы склеили цветной снимок. Думаете на этом все обработки заканчиваются. Нет? они только начинаются. Дальше, для того чтобы повысить динамический диапазон снимка и снизить шум, в бой вступают алгоритмы HDR. Традиционно, есть два способа получения HDR снимка — это либо Image Stacking, либо Image Bracketing.

Что это такое?

Image Stacking — это когда делается несколько одинаковых снимков подряд, а потом они склеиваются попиксельно усредняя значение каждого пикселя. Зачем склеивать одинаковые снимки, спросите вы? Всё просто — такой способ позволяет сильно уменьшить шум на фотографии, а также сделать снимок более насыщенным, ведь при усреднении информация о цвете тоже дополняется.  А уже после такой манипуляции можно программно поднять тени, чуть-чуть восстановить света и HDR снимок готов.

Но есть другой вариант — Image Bracketing. Или на фото жаргоне — вилка по экспозиции. Тут уже делается как минимум 3 снимка, один нормальный, один переэкспонированный, чтобы там были видны детали в тенях, и один недоэкспонированный, чтобы не было засветов. А потом всё это сшивается как Франкенштейн.

В итоге, получаем широченный динамический диапазон и насыщенные цвета, но могут возникнуть артефакты типа гоустинга. Samsung, судя по всему, использует комбинированный алгоритм, потому что видны преимущества обоих алгоритмов. При этом HDR работает вообще на всех камерах, включая сверхширокоугольную камеру и фронтальную камеру.

5. Сегментация и NPU

И вот, у нас получается практически идеальный снимок. И пару лет назад склейка HDR была бы последним этапом. Но, когда в смартфоны стали встраивать нейропроцессоры, всё поменялось. И появился пятый этап — нейронная обработка.

Еще до того, как вы нажали на кнопку снять, всё что вы видите на экране так же попадает на дознание в нейропроцессор, который распознает объекты и сцены. И его смысл в том, чтобы работать гибко и помогать камере выбрать идеальные параметры.

Возможности машинного обучения нейропроцессора (NPU) внутри Exynos автоматически обнаруживают объекты в сцене, позволяя процессору обработки изображений (ISP) генерировать и применять определенные параметры съемки, адаптированные к конкретному объекту, благодаря чему качество кадра повышается. В зависимости от того какую сцену или объект он распознал заранее будет подправлены параметры съемки. Если в кадре быстро пробегает собака, камера снизит выдержку, чтобы объект не смазался. Если вы фотографируете человека NPU в процессоре Exynos автоматически подкорректирует баланс белого, чтобы получить идеальный тон кожи, а экспозиция подстроится под лицо. А после того как снимок сделан, NPU сегментирует изображение, чтобы добиться оптимального контраста и текстуры для разных объектов. И всё это происходит в доли секунды благодаря плотной интеграции центрального процессора, ISP и NPU.

Например, при помощи процессора Exynos смартфоны могут не только делать фото с размытым фоном но и видео, в режиме реального времени.  Также, в зависимости от того на какой объектив было снято изображение, могут появиться дополнительные этапы обработки — вроде исправления искажения на сверхширокоугольном объективе.

А при тридцатикратном зуме, который умеет делать этот смартфон, подключается алгоритмы апскейлинга.

6. Склейка и сохранение финального JPEG

И уже после всего это сложного процесса обработок идет сохранение игрового JPEG. И всё это происходит мгновенно!

Но поражает не это, а то что сейчас смартфоны стали настолько мощными, что научились одновременно мгновенно склеивать не просто один супер HDR-снимок. А то что теперь они это делают со всех камер одновременно.

Например, во флагманах Samsung, есть функция Мультикадр, которая позволят один раз нажать на кнопку и одновременно все камеры сделают несколько снимков и даже снимут несколько видео, а потом нейронка всё нарежет, кадрирует, и даже стабилизирует видео.

Кстати, в смартфонах есть ещё режим стабилизации видео — Super Steady — вообще какая-то дикая фича.

Ресурс SamMobile продолжает исправно собирать из разных источников всю возможную информацию о будущих продуктах от компании Samsung. И на днях журналисты нашли несколько строчек о будущем планшете от корейского гиганта.

Правда, пока информации практически нет. Авторы издания отыскали в User Agent Profile новую модель под названием SM-T805 и предположили, что эта новинка должна будет полнить линейку планшетов Galaxy Tab Pro.
(далее…)

На днях журналисты ресурса DDaily сообщили о том, что в следующем году компания Samsung представит фитнес-браслет под названием Galaxy Band, который будет отслеживать пройденное расстояние, количество калорий и прочие биопараметры.

Теперь информация о предстоящем анонсе поступила из другого источника. Бюро патентов и торговых марок США опубликовало новый патент, выданный компании Samsung. В нем описан гаджет, который очень похож на Galaxy Band.
(далее…)

С каждым днем презентация «умных» часов от корейского производителя Samsung становится все ближе. Как известно, Samsung Gear будут показаны в ходе специального мероприятия 4 сентября. А пока мы ждем этого события, в сеть утекли новые снимки, на которых изображено специальное приложение для синхронизации смартфона и часов.

Судя по изображению, набор доступных функций не очень большой. Однако с помощью Gear Manager пользователи смогут настраивать часы, устанавливать специальные приложения (вполне возможно, что только из Samsung Apps), а также открывать загруженные ранее программы.
(далее…)