Современная мобильная фотография переживает эпоху фундаментальных трансформаций. Каждый раз, когда мы делаем снимок на смартфон, за долю секунды происходит сложнейший процесс обработки данных, о котором большинство пользователей даже не подозревает. Первоначальный сигнал, поступающий с сенсора камеры, представляет собой зашумленное, тусклое изображение с множеством дефектов. Однако благодаря высокотехнологичным процессам обработки, развёрнутым на нескольких квадратных миллиметрах кремниевого чипа, это несовершенное изображение мгновенно превращается в качественную фотографию.

Ключевую роль в этом процессе играет Image Signal Processor (ISP) — специализированный процессор обработки изображений. На протяжении многих лет вся работа по улучшению снимков выполнялась традиционными математическими алгоритмами. Но сегодня мобильная фотография переживает настоящую революцию: место классических математических методов постепенно занимают нейронные сети, которые буквально переписывают законы физической оптики.

Архитектура традиционного конвейера обработки изображений

Процесс обработки изображения в ISP состоит из множества операций, которые можно условно разделить на четыре основных этапа.

Первый этап — первичная обработка сырых данных (Raw Domain). На этом этапе процессор работает с исходным изображением в его наихудшем состоянии, очищая его от шумов и артефактов.

Второй этап — демозаика (Demosaicing). Здесь происходит восстановление полноценного цветного изображения из чёрно-белой мозаики данных, поступающих с сенсора.

Третий этап — эквализация изображения. На этом этапе выполняется тональная компрессия и расширение динамического диапазона.

Четвёртый этап — финальная постобработка. Здесь применяется итоговое шумоподавление и производится окончательная доводка изображения.

Первичная обработка: борьба с несовершенством матрицы

Проблема битых пикселей. Мало кто знает, что при производстве сенсоров, состоящих из десятков миллионов пикселей, микробрак практически неизбежен. Независимо от класса устройства — будь то флагманский фотосмартфон или бюджетная модель — в каждом модуле камеры почти наверняка присутствуют битые пиксели, причём не один. Но мы их не замечаем благодаря работе ISP, который маскирует дефекты весьма изощрённым способом.

Процессор не просто заменяет значение битого пикселя средним арифметическим соседних — он работает по принципу игры в сапёра. Представим ситуацию: в кадре присутствует резкий переход — тёмная крыша здания на фоне яркого неба, и битый пиксель оказывается точно на этой границе. Если просто закрасить дефектный пиксель средним значением всех окружающих ячеек, получится размытие — грязное серое пятно прямо на чёткой границе объектов.

Чтобы избежать этого, процессор должен определить, где именно в данной точке проходит граница между объектами. Для этого ISP вычисляет градиенты — проверяет разницу интенсивности света по вертикали, горизонтали и обеим диагоналям. Если минимальное изменение цвета происходит, например, по диагонали от левого нижнего угла к правому верхнему, процессор определяет, что именно здесь проходит граница контура. После этого он интерполирует недостающий цвет строго вдоль этой диагональной линии, сохраняя край изображения идеально резким. Всё это — огромный объём вычислений ради корректной обработки одного-единственного дефектного пикселя.

Темновой ток и тепловой шум

Битые пиксели — не единственная проблема. В физике полупроводников существует явление, называемое темновым током — паразитный электрический шум сенсора. Этот шум присутствует всегда и возникает из-за теплового движения электронов внутри кремниевой структуры.

Даже если зайти в абсолютно тёмную комнату, плотно закрыть объектив крышкой и сделать снимок, сенсор всё равно зарегистрирует некоторый паразитный электрический заряд. Проще говоря, матрица создаёт шум от собственного тепла.

Отсюда вытекает неожиданный практический совет: если вы хотите снизить уровень шума и повысить качество фотографий, просто охладите смартфон. Снижение температуры сенсора уменьшает тепловой шум в несколько раз. В результате в тенях появляется больше деталей, а цвета выглядят чище и точнее. Иными словами, зимой можно получать более качественные снимки просто за счёт низкой температуры окружающей среды.

Но что делать в жаркую погоду? В этом случае и во всех прочих ситуациях на помощь приходит ISP. На данном этапе его задача — вычислить текущий уровень шума и компенсировать его. Для этого на матрице предусмотрены специальные пиксели, физически экранированные от света. Обычно они располагаются по краям сенсора. ISP считывает данные с этих пикселей и анализирует их: если света нет, а заряд присутствует — это и есть базовый тепловой шум.

Этот принцип работает подобно кнопке сброса тары на кухонных весах: процессор просто вычитает это фоновое значение из данных всех активных пикселей на матрице. Благодаря этому чёрный цвет становится действительно чёрным, а не тёмно-серым или фиолетовым.

На этом же этапе происходит коррекция виньетирования — программное устранение оптического затемнения по краям кадра, вызванного особенностями объектива. Также применяется базовый сглаживающий фильтр и первичное шумоподавление. Всё это делается с одной целью: подготовить максимально чистый массив данных для следующего, самого ответственного этапа конвейера — демозаики.

Демозаика: восстановление цвета из мозаики

Сенсоры камер сами по себе не различают цвета — для них мир абсолютно чёрно-белый. Чтобы получить цветное изображение, инженеры наносят поверх матрицы цветные фильтры. Чаще всего это фильтр Байера — микроскопическая шахматная доска из красных, синих и зелёных светофильтров со структурой RGGB (Red-Green-Green-Blue).

Некоторые производители используют альтернативную структуру RYYB (Red-Yellow-Yellow-Blue), заменяя зелёные пиксели жёлтыми. Именно такой подход на протяжении многих лет применяет компания Huawei. Эта технология позволяет захватывать на 40% больше света по сравнению с традиционной схемой Байера, поскольку жёлтый фильтр пропускает одновременно и зелёный, и красный спектры.

Но независимо от типа фильтра, суть остаётся одной: каждый пиксель накрыт цветным стеклом только одного цвета и фиксирует интенсивность света исключительно в соответствующем спектральном диапазоне.

Здесь возникает фундаментальная проблема. Каждый цветовой канал — красный, синий, жёлтый или зелёный — представляет собой не цельное изображение, а чрезвычайно «дырявую» мозаику. В красном и синем каналах присутствуют данные только от одного из четырёх пикселей, то есть всего 25% от общего разрешения. В зелёном или жёлтом канале отсутствует ровно половина информации.

Нам не хватает огромного массива данных. Откуда их взять? Ответ — математическая интерполяция.

Как и в случае с битыми пикселями, здесь применяются специализированные алгоритмы интерполяции — процесс, называемый демозаикой. ISP анализирует значения соседних пикселей и математически достраивает недостающие фрагменты изображения.

Стоит осознать масштаб этого процесса: примерно две трети всей цветовой информации на любой фотографии не были захвачены физически — они вычислены алгоритмом.

На этом же этапе обычно выполняется определение баланса белого, гамма-коррекция, базовая цветокоррекция и ещё один важнейший процесс — преобразование цветового пространства из привычного трёхцветного RGB в более специализированное YCbCr.

YCbCr — это цветовое пространство, в котором информация разделена не по трём базовым цветам, а по яркости (Y) и цветоразностным компонентам (Cb и Cr). Идея такого разделения предельно практична и основана на особенностях человеческого зрения: эволюционно наш глаз гораздо более чувствителен к яркостным деталям и контрасту, чем к самим цветам.

Пространство YCbCr позволяет алгоритмам процессора раздельно обрабатывать яркость и цвет, что открывает путь к эффективному переходу к финальному этапу традиционного конвейера обработки.

Финальная обработка: эквализация и шумоподавление

На завершающем этапе происходит эквализация изображения и постобработка. Благодаря переходу в пространство YCbCr процессор может независимо работать с резкостью в яркостном канале и применять шумоподавление для деталей и цвета раздельно.

Именно здесь разворачивается настоящая вычислительная магия. Например, компания Huawei ещё со времён чипа Kirin 990 внедрила аппаратную поддержку алгоритма BM3D (Block-Matching and 3D Filtering) для шумоподавления. Ранее подобные технологии можно было встретить только на мощных настольных компьютерах при профессиональной обработке изображений.

BM3D — это чрезвычайно ресурсоёмкая математическая задача. Принцип его работы следующий: алгоритм разделяет всё изображение на мелкие блоки, затем ищет блоки, похожие по фактуре и уровню зашумлённости, и группирует их в отдельные стопки. После этого к каждой такой стопке применяется оптимальный именно для данной фактуры алгоритм шумоподавления. Затем всё аккуратно склеивается обратно, и в результате получается чистое изображение без шума, но с сохранёнными мелкими деталями.

Встроить столь ресурсоёмкие вычисления в мобильный чип с жёсткими ограничениями по энергопотреблению и тепловыделению — настоящий инженерный подвиг.

К этому добавляются финальное улучшение границ объектов через оператор Лапласа, локальный тоун-мэппинг для проработки теней и светов, корректировка контрастности и яркости. В результате мы получаем финальное готовое изображение.

Традиционный ISP — это множество сложных математических операций и строгая последовательность этапов обработки. Однако у такого классического подхода существует концептуальная проблема: на каждом этапе обработки неизбежно возникают небольшие артефакты. Традиционные математические методы, какими бы сложными они ни были, просто не способны восстановить информацию, которая изначально не была зафиксирована матрицей. Классическая математика не умеет «додумывать» недостающее.

А значит, настало время перейти к главному технологическому тренду последних пяти лет — нейронным процессорам обработки изображений.

Революция нейронных ISP: от математики к искусственному интеллекту

В 2020 году компания Huawei получила фундаментальный патент, описывающий метод и устройство для обработки изображений с использованием искусственного интеллекта. Этот документ фактически описывает архитектуру нейронного ISP. Именно в это время начался постепенный отказ от жёсткой математики аппаратных DSP-блоков в пользу нейросетей. И несмотря на весь скептицизм, в области обработки изображений происходит настоящая тихая революция.

Преимущества нейросетевого подхода в демозаике

Рассмотрим тот же этап демозаики. Как мы помним, на этом этапе необходимо восстановить примерно две трети изображения. Традиционный математический конвейер с этим неплохо справляется, но у него есть проблема: он «близорук» — видит только соседние пиксели и усредняет их по заранее заданному алгоритму.

Поэтому, как только матрице попадается сложная мелкая текстура, алгоритм ошибается. Появляются классические цифровые артефакты — радужные разводы (муар), потери детализации, цветовые искажения.

Нейросеть способна видеть картину целиком. Она распознаёт, что в данный момент обрабатывает сложную текстуру шерсти животного, а не гладкую окрашенную стену, и восстанавливает сигнал по совершенно другим принципам. Алгоритм анализирует контекст всей сцены и предсказывает недостающие цвета на основе обученных паттернов.

Neural ISP может корректно восстановить даже мелкий текст, который при обработке традиционным конвейером неминуемо превращается в нечитаемую пиксельную кашу. Если раньше внутри чипа работал дотошный бухгалтер-математик с калькулятором, то теперь там трудится художник с огромной «насмотренностью», который буквально дорисовывает реальность, опираясь на свой обширный опыт.

Интеллектуальная эквализация

Или возьмём, к примеру, модуль эквализации. Традиционный ISP применял глобальную гамма-коррекцию ко всему изображению сразу. Neural ISP использует интеллектуальную локальную компрессию тонов.

Принцип работы следующий: процессор получает сырой 14-битный сигнал с сенсора с огромным массивом полутонов и сжимает его в стандартный 8-битный формат JPEG. Но делает это не линейно, а неравномерно, опираясь на контекст сцены.

Нейросеть понимает, что именно находится в кадре. Она отдельно обрабатывает лица людей, сохраняя естественный тон кожи, отдельно аккуратно приглушает пересвеченное небо и совершенно независимо от этого вытягивает информацию из глубоких теней. И что особенно важно — новые поколения ISP делают это значительно эффективнее предшественников.

Архитектура современного Neural ISP: гетерогенные вычисления

Почему современные нейронные процессоры обработки изображений настолько эффективны? Ответ кроется в архитектуре самого железа.

Несмотря на то что Huawei развивает технологии нейровычислений уже довольно давно, в новом поколении ISP инженеры совершили качественный скачок. Процессор, встроенный в платформу Kirin 9030S (которая установлена во флагмане Huawei Pura 90S Pro Max, доступном в 2025 году), в полной мере реализует концепцию гетерогенных вычислений.

Теперь ISP (процессор обработки изображений) и NPU (нейронный процессор) работают в неразрывной связке, при поддержке GPU (графического процессора). Благодаря этому «романсу», а также комплексной оптимизации аппаратной и программной частей, по сравнению с предыдущим поколением Kirin 9000s произошли впечатляющие улучшения:

• Семантическое понимание сцены силами NPU выросло на 200%
• Чёткость видео на телеобъективе увеличилась на 110%
• Стабилизация изображения при использовании зума улучшилась на 30%

Кстати, стабилизация здесь соответствует стандарту CIPA 7.0 — актуальному на 2025 год международному стандарту измерения эффективности оптической стабилизации изображения, разработанному Camera & Imaging Products Association.

Технология True To Color 2.0: работа с RYYB-матрицами

Вспомним ключевую особенность Huawei — использование RYYB-матриц. Их преимущество в том, что они пропускают на 40% больше света по сравнению с традиционными RGGB-сенсорами. Причина в том, что жёлтый фильтр одновременно пропускает и зелёный, и красный спектры света.

Но здесь возникает проблема: как определить, где на фотографии должен быть чисто зелёный цвет? Без дополнительных данных это сделать невозможно. Поэтому инженеры Huawei используют отдельный десятиканальный спектральный датчик, расположенный рядом с основными камерами. Вся эта система называется True To Color 2.0.

Работает она следующим образом: ISP получает данные со спектрального датчика и определяет корректный баланс белого в сцене. Затем процессор берёт жёлтый сигнал и математически вычитает из него красный спектр, получая чистейший зелёный цвет. В новом поколении ISP точность этой операции повысили на 43% по сравнению с предыдущим поколением.

Практические возможности современного AI в фотографии

Актуальные на 2025 год системы обработки изображений предлагают множество интеллектуальных функций, работающих в реальном времени.

Интеллектуальные подсказки по композиции

Пока вы наводите камеру и собираетесь нажать кнопку спуска, искусственный интеллект предлагает подсказки по улучшению композиции: сдвинуться левее, изменить масштаб, чтобы кадр выглядел более гармоничным. NPU мгновенно анализирует сцену, распознаёт позы людей, вычисляет линии перспективы, накладывает сетку золотого сечения.

Важнейший аспект: всё это происходит абсолютно локально, на устройстве. Никакие данные не выгружаются в облако для обработки, что гарантирует конфиденциальность и мгновенную скорость работы.

AI Deglare: устранение бликов

Одна из наиболее впечатляющих функций — AI Deglare (интеллектуальное удаление бликов). Многим знакома ситуация: хочется сделать красивый снимок ночного города через окно, но отражение комнатной лампы полностью перекрывает вид. Теперь эта проблема решена: достаточно нажать кнопку, и отражение исчезает.

Здесь мы видим идеальный симбиоз оптики и вычислений. В Huawei Pura 90S Pro Max используется LOFIC-сенсор (Local Output FIlm Curve) с гигантским динамическим диапазоном в 16 стопов. Физические возможности матрицы позволяют сохранить информацию о цвете и деталях даже в самых мощных пересветах.

Затем в дело вступает математика: NPU анализирует микроконтрасты, находит точные границы отражения и буквально вычитает его из кадра. На финальном этапе подключаются генеративные диффузионные модели. Они выполняют inpainting — реконструкцию утраченных участков изображения. Нейросеть анализирует контекст вокруг удалённого блика и восстанавливает отсутствующие текстуры, будь то кирпичная кладка здания или ночное небо за окном.

Технология работает превосходно, результат выглядит естественно и органично.

Заключение: будущее уже наступило

Современная мобильная фотография — это сложнейшее переплетение оптики, физики полупроводников, математики и искусственного интеллекта. То, что казалось невозможным всего несколько лет назад, сегодня реализовано в устройстве, которое помещается в кармане.

Нейронные процессоры обработки изображений не просто улучшают качество снимков — они переосмысливают саму суть фотографии. Если раньше камера была инструментом фиксации реальности, то теперь она становится инструментом её интерпретации и даже реконструкции.

Граница между тем, что видит сенсор, и тем, что видим мы на экране, становится всё более размытой. И в этом нет ничего плохого — ведь человеческое зрение само по себе является результатом сложнейшей обработки сигналов мозгом, который тоже додумывает, интерпретирует и улучшает поступающую информацию.

Технологии, о которых мы говорили — от коррекции битых пикселей до генеративного inpainting — это лишь начало. С каждым поколением чипов возможности нейронных ISP будут расширяться, а качество мобильной фотографии — приближаться к профессиональному уровню и даже превосходить его в определённых аспектах.

Тихая революция в мобильной фотографии продолжается. И мы живём в удивительное время, когда можем наблюдать за ней и пользоваться её плодами каждый день.

На MWC Xiaomi представила Leica Leitzphone — совместный флагман с физическим кольцом вокруг камеры. Кольцо позволяет вручную регулировать зум, экспозицию и фокус — как на объективах зеркальных камер. Внутри — 1-дюймовый 50 МП сенсор, 200 МП телефото, чип Snapdragon 8 Elite Gen 5 и аккумулятор на 6 000 мАч.

Leica участвовала не в брендинге, а в реальной разработке: инженеры компании работали над оптикой и промышленным дизайном. В камере есть режим Essential Mode — минималистичный интерфейс без лишних настроек, плюс монохромный режим в стиле классических Leica.  Цена — €1 999. Телефон, который хочет стать камерой.

Металинзы — это относительно новая технология, которой ранее занимались стартапы и ученые, но сейчас ситуация меняется, поскольку компания Canon поверила в металинзы и стала не только производить их, но и выпускать оборудование для их изготовления.

Эксперты говорят, что технология произведет переворот в мире оптики. Металинзы — это плоские «линзы» способные фокусировать свет с помощью целого массива вертикальных пластинок, которые расположены на их поверхности. Такая «оптика» имеет толщину в 100 000 раз меньше, чем толщина стекла, то есть с их помощью можно создавать ультракомпактные объективы для смартфонов и не только. Возможно именно с помощью этой технологии мы снова вновь увидим устройства без выступающего блока камер.

Технология является новой: прототип металинзы, способный настраивать фокус без каких-либо подвижных частей, был создан всего два года назад учеными из Массачусетского технологического института. Сегодня крупнейшими игроками в этой области являются компании Metalenz и Samsung. Правда последняя лишь упомянула о том, что заинтересована в использовании этой технологии в смартфонах.

Компания Metalenz, напротив, занимается непосредственно исследованиями и производством металинз и является, пожалуй, самым крупным именем в этой области. В октябре прошлого года компания завершила второй этап финансирования и получила дополнительный раунд инвестиций в размере 30 млн. долларов, что свидетельствует об интересе к этой технологии.

Теперь же стало известно, что Canon также занялась освоением этой технологии: производством металинз, а также техники для их изготовления. По сообщению японского издания Mynavi News, компания продемонстрировала это во время Canon Expo 2023 — частной выставки Canon Group, на которой она демонстрирует свои новейшие разработки. Исторически сложилось так, что большая часть технологических новинок, представленных на выставках Canon, в течение короткого времени — часто всего за пару лет — выходит на рынок.

Мало того, что у Canon есть прототип металинзы, как показано на фотографиях издания, он был изготовлен с использованием новейшей системы производства под названием Nanoimprint, что можно перевести как «наноотпечаток», о которой компания объявила в начале этого месяца.

Canon не только производит металлинзы, но и использует для их изготовления аппаратные средства, которые также производит сама. Такой уровень инвестиций в технологию и тот факт, что она демонстрируется на выставке Canon Expo, подтверждает, что компания планирует двигаться в этом направлении со значительными инвестициями.

С появлением в этой области такого крупного игрока, как Canon, технология, которая пока еще не доказала свою жизнеспособность в потребительских устройствах, становится не только более интересной с точки зрения бизнеса, но и вероятность того, что она начнет появляться в устройствах, кажется гораздо более близкой, чем всего несколько недель назад.

ISOCELL HP2 от Samsung — это уже третий 200-мегапиксельный сенсор компании для смартфонов, который обещает улучшенную пиксельную технологию и возможность создания «потрясающих» мобильных изображений.

Правда с названием может возникнуть путаница: HP2 следует за HP1, который был анонсирован в 2021 году, но при этом в линейке есть сенсор HP3, который был анонсирован в прошлом году.

https://youtu.be/3sse3xtDgCQ

Несмотря на то, что анонс сенсора ISOCELL HP2 не идет по порядку, он прекрасно вписывается в линейку между сенсорами HP1 и HP3. HP1, первый датчик Samsung с разрешением 200 мегапикселей с пикселями размером 0,64 мкм, в то время как в HP3 используются самые маленькие в мире пиксели размером 0,56 мкм. Новый HP2 находится между этими двумя моделями с размером пикселя 0,6 мкм.

Как в сенсоре HP3, в HP2 используется технология бининга пикселей Tetra2pixel, которая позволяет имитировать различные размеры пикселей и общее разрешение для того, чтобы реагировать на изменение условий освещения. Например, в условиях недостаточной освещенности датчик преобразуется либо в 1,2-мкм при разрешении 50 Мп, либо в 2,4-мкм при разрешении 12,5 Мп. В обоих случаях объединяются либо 4, либо 16 пикселей. Для съемки видео в формате 8K с разрешением около 33 мегапикселей, HP2 переключается в режим 50 мегапикселей с размером пикселя 1,2 мкм, чтобы захватить большую часть сцены.

HP2 также оснащен новой технологией Dual Vertical Transfer Gate (D-VTG) или «двойной вертикальный трансферный затвор». Он позволяет уменьшить «замыленный» вид фотографий, сделанных в сложных условиях освещения.

«В фотодиоде внутри каждого пикселя снизу расположен затвор передачи напряжения для переноса электронов от пикселей к логическому слою. С высокой точностью D-VTG добавляет второй затвор переноса напряжения в пиксель, увеличивая емкость полной памяти пикселя более чем на 33%», — утверждает Samsung. «Благодаря большему количеству накопленных электронов и эффективной передаче сигнала, этот метод позволяет уменьшить переэкспозицию и улучшить цветопередачу, особенно в условиях яркого освещения».

HP2 также оснащен новой системой автофокусировки Super QPD, которая позволяет использовать все 200 миллионов пикселей для фокусировки. Они сгруппированы по четыре соседних пикселя, что позволяет распознавать горизонтальные и вертикальные изменения рисунка, обеспечивая более быструю и точную автофокусировку, которая, по словам Samsung, достаточно мощная, чтобы обеспечить быструю и точную фокусировку даже при тусклом освещении.

Наконец, HP2 представляет новый режим HDR в своем 50-мегапиксельном формате, который применяет два отдельных значения преобразования к аналоговому сигналу, получаемому на уровне пикселя. Датчик также использует Smart-ISO Pro — HDR-решение Samsung, которое объединяет различные уровни показаний ISO из одной экспозиции, позволяя камере снимать 12,5-Мп изображения и видео 4K со скоростью 60 кадров в секунду в HDR.

Samsung утверждает, что ISOCELL HP2 уже поступил в массовое производство, а это значит, что очень скоро он будет доступен для использования в смартфонах. Судя по тизерам предстоящего смартфона Galaxy S23, вполне возможно, что любой из этих трех 200-мегапиксельных датчиков будет использован в новом флагмане компании. Напомним, что анонс новых флагманов Samsung назначен на 1 февраля.

Дочерняя компания LG Innotek представила новый модуль камеры с оптической стабилизацией и телефото зумом, предназначенный для следующего поколения флагманских мобильных устройств. Согласно заявлению LG Innotek, модуль камеры будет представлен в полном объеме на выставке CES.

Известно, что модуль камеры будет предлагать изменяемый и непрерывный зум, значение которого будет изменять от 4x до 9x. В модуле также будет оптическая стабилизация изображения. Привод зума, по словам LG Innotek, разработан для «высокой скорости перемещения и долговечности с меньшим потреблением батареи [чем у конкурентов]» и может перемещаться с шагом всего в один микрометр.

LG Innotek утверждает, что тесно сотрудничала с Qualcomm для «оптимизации программного обеспечения для оптического непрерывного зума, которое будет применяться в новой мобильной платформе премиум-класса Snapdragon 8 Gen 2». В частности, LG Innotek утверждает, что «автофокус, экспозиция, баланс белого, коррекция теней объектива и многое другое» будут оптимизированы на устройствах с новейшим чипсетом Snapdragon, анонсированным в прошлом месяце.

LG не выпускает смартфоны с начала 2021 года, но продолжает производить различные компоненты для смартфонов, планшетов, компьютеров и другого оборудования, которое другие производители используют в своей продукции. LG Innotek утверждает, что новый модуль камеры был специально разработан для уменьшения «толщины блока камеры», которую мы привыкли видеть в различных формах и размерах на задней панели смартфонов. Благодаря использованию конструкции со сложенной оптикой, LG Innotek может получить большее фокусное расстояние при компактных размерах и толщине.

Еще в августе 2021 года производитель смартфонов Oppo продемонстрировал модуль камеры с оптическим зумом 85-200 мм (экв.) и OIS, но на данный момент он еще не появился в серийных смартфонах. Если предположить, что новый модуль камеры LG Innotek будет представлен в смартфоне на выставке CES 2023, как предполагается в анонсе, похоже, что LG опередит Oppo на рынке. Но пока этого не произошло…

Интересно наблюдать какой путь проделала мобильная фотография за последние лет десять. Я сравнил фотографию, которую я сделал в 2008 году с фотографией на актуальный смартфон. И WOW. Как небольшие по размеру камеры телефонов, а затем смартфонов достигли такого уровня качества?

Сегодня попробуем разобраться какой путь прошла мобильная фотография за эти годы…

Краткая история

Главной предпосылкой к появлению камер в телефонах стало изобретение и распространение цифровых камер. Вряд-ли кто-нибудь стал бы помещать в телефон фотоплёнку, хотя выглядело бы интересно. Первая цифровая камера появилась ещё в 1975 году. Она имела разрешение всего в одну сотую мегапикселя, была чёрно-белой, а фотографии записывались на кассету. Несмотря на это, сама технология получения снимка у этой камеры была такая же, как и на современных фотоаппаратах и, отчасти, телефонах.

Любая любая цифровая камера, состоит из двух основных частей: сенсора и системы линз. Сенсор улавливает свет, который на нём фокусирует система линз, и затем из полученного света получается картинка, это если вкратце.

Собственно, камера в телефоне это и есть цифровая камера, просто уменьшенная до таких размеров, чтобы помещаться в вашем смартфоне, при этом ещё и в количестве нескольких штук. Но есть существенное отличие — это размер сенсора. Почему это важно? Качество снимка зависит от количества информации, поступающей на сенсор. А эта информация — свет, попадающий на матрицу. Поэтому меньше сенсор, тем меньше света, тем в итоге хуже фото.

Но как же камерам смартфонов удается выдавать сопоставимое качество? Давайте разберемся. Для этого, начать стоит с того, как вообще устроена камера смартфона.

Сенсор камеры. Матрица. Вы находитесь здесь…

Сенсор камеры – самая важная её часть. Главный элемент сенсора – светочувствительная матрица. Она состоит из миллионов ячеек, которые улавливают свет. «Мегапиксели» в камере – это как раз количество таких ячеек. Например, 64 мегапикселя означают, что матрица состоит из 64 миллионов светочувствительных ячеек. Когда вы открываете приложение камеры на смартфоне, все эти ячейки начинают собирать в себя фотоны света и по их количеству на каждой ячейке и формируется картинка. Каким образом? Ответ на этот вопрос зависит от типа матрицы, их всего два CCD и CMOS-матрицы.

Разница заключается в том, что в CCD-матрицах для преобразования света в напряжение и из него в данные используется отдельная схема-преобразователь. При воздействии света на ячейку, в ней образуются электроны, и они поочерёдно поступают в преобразователь, который «превращает» электроны в выходное напряжение, такие матрицы были придуманы первыми, а сейчас используются только в очень дорогих камерах из-за своей дороговизны. В CMOS-матрицах все необходимые преобразования происходят в самой ячейке, то есть на выходе ячейка сразу выдаёт напряжение, без необходимости во внешних схемах, такие матрицы дешевле, быстрее и меньше, поэтому и получили гораздо более широкое распространение.

Хорошо, но как из выходного напряжения получается картинка? Напряжение – пропорционально тому, сколько света захватила каждая ячейка, то есть яркость каждого пикселя. Но только яркость, сами по себе матрицы умеют формировать только чёрно-белое изображение.

Фильтр Байера

Для появления в фотографиях цвета над каждой ячейкой помещают цветной фильтр, который улавливает определённый цвет: красный, синий или зелёный. Совокупность таких фильтров формирует над матрицей ещё один слой – матричный светофильтр. Самый известный – фильтр Байера, ещё его называют RGGB. Этот фильтр состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов. Такой дисбаланс цветов вызван тем, что человеческий глаз более чувствителен к зелёному цвету, чем к красному и синему вместе взятым. То есть получается, что каждый пиксель улавливает лишь один цвет? И из этого же следует, что два остальных цвета фильтром отсекается, значит сохраняется лишь одна треть от всей цветовой информации. «Полноцветным» является блок 2 на 2 пикселя, в таком блоке один красный пиксель, один синий пиксель и два зеленых пикселя. Тем не менее, этого хватает для получения цветной картинки, для этого используются значения из соседних ячеек.

Но интересно, что RGGB это не единственный тип светофильтров, хотя и наиболее распространённый. Помимо него существуют уже почти неиспользуемый CYYM, в котором на каждый блок один бирюзовый, два жёлтых и один пурпурный, а также RYYB, где зелёный цвет заменили на жёлтый, он появился в 2019 году. Альтернативные светофильтры не стали стандартом индустрии, хотя и используются некоторыми производителями. Это обусловлено тем, что все существующие алгоритмы и технологии работы с изображениями рассчитаны на зелёный, синий и красный цвета, а в случае использования других цветовых компонентов требуются более сложные алгоритмы демозаики. С другой стороны, жёлтые фильтры позволяют матрице захватывать больше света, а значит и в условиях недостаточного освещения фотографии должны получаться лучше.

Хотя, главное ограничение в этом плане – отнюдь не светофильтр, а размер пикселя. В камерах смартфонов зачастую не превышает полутора микрометров, он физически не может уловить такое количество света, как «большие» камеры с пятикратно большими пикселями. Для того, чтобы это компенсировать была придумана технология Quad Bayer. В ней при значительном увеличении разрешения камер, например, до 48 мегапикселей размер фильтра Байера остаётся как при двенадцати мегапикселях, то есть цветофильтр покрывает сразу 4 пикселя, блок 2×2 пикселя становится одноцветным, а разрешение фотографий не увеличивают. Такая технология используется во всех актуальных смартфонах vivo, в том числе и в vivo V25 Pro.

Это позволяет улучшить динамический диапазон фотографий. Каким образом? Вообще, широкого динамического диапазона на фотографиях можно достигнуть двумя способами: большим размером сенсора или увеличением выдержки. Первый вариант не подходит из-за небольшого размера камеры смартфона, а вот второй может и получиться, но только для совсем небольшого отрезка времени, чтобы не смазать кадр при съёмке с рук. Трюк заключается в том, что одновременно половина фотодиодов под одним фильтром работает с короткой выдержкой, а вторая половина — с длинной. Получается, под каждым цветным фильтром два диода собирают всю информацию на ярких участках, а два других — на темных, и при этом общее время выдержки увеличивается незначительно.

С другой стороны, пиксели становятся ещё меньше, что приводит возникновению шумов и различных дефектов, которые необходимо исправлять при постобработке, то есть возрастают требования к вычислительной мощности смартфона.

Как раз отличной камерой, и мощным железом может похвастаться смартфон vivo V25 Pro. Это флагман новой серии V25, которая недавно вышла в продажу в Россию. vivo давно присутствует на рынке, и мы с вами прекрасно знакомы с этим брендом — компания занимает лидирующие позиции в создании инновационных продуктов, в частности, специалисты vivo уделяют большое внимание именно развитию фото- и видеосъемки в смартфонах.

Так, например, первым в мире смартфоном с фронтальной светодиодной вспышкой полного спектра был vivo X shot, представленный компанией в 2014 году.

vivo X7, вышедший в 2017 году, был оснащен передовой технологией мягкого света, разработанной компанией (имитируя свет на съемочной площадке, технология способна придать сияющий цвет лица людям, делающим селфи). Также в 2016 году в сериях vivo X9 и X9s внедрили режим двойной камеры для фронтальной фотосъемки.

Но о компании говорить можно долго, так что давайте вернемся и посмотрим, что нам предлагает новинка V25 Серии — vivo V25 Pro. Смотрите сами, тут крутая 64 мегапиксельная камера, к тому же с гибридной стабилизацией, комбинация оптической стабилизации и электронной сделает снимки с рук максимально чёткими.

 

Фотографии можно делать как в разрешении 16 мегапикселей, так и задействовать полное разрешение камеры для получения очень детальных снимков при дневном освещении.

Любителям портретной съёмки понравится качественное боке, да ещё и с возможностью менять после съемки блики, можно выбрать из нескольких вариантов, таких как сердца, бабочки или “вишня в цвету”, а для создания динамики на снимках можно использовать эффект размытия в движении.

А тем, кто считает ночь своей стихией пригодится продвинутый ночной режим, который при любом освещении поможет создать яркий снимок, вот например такой или вот такой.
Помимо продвинутых основных камер, в смартфоне установлена 32 мегапиксельная фронтальная камера с автофокусом по глазам, что позволит всегда делать чёткими не только селфи-фото, но и селфи-видео, оцените качество картинки и заодно звука.

Кстати, насчёт видео, гибридная стабилизация сделает кадр плавным даже при сильной тряске.

Все эти продвинутые алгоритмы съёмки работают быстро благодаря новому производительному восьмиядерному чипу MediaTek Dimensity 1300 и 12 гигабайтам оперативной памяти с возможностью расширения ещё на 8 Гб. А чтобы избежать перегрева и троттлинга в смартфоне используется современная система охлаждения. Кроме того, в смартфоне установлен большой аккумулятор ёмкостью 4830 мАч, который с помощью 66-ваттной быстрой зарядки можно зарядить до 42% всего за 15 минут.

Сильной стороной vivo V25 Pro является не только “железо”, но и дизайн, фотохромное антибликовое стекло с бархатистой поверхностью на задней панели благодаря слою кристаллов меняет свой цвет под разными углами, от небесно-голубого до тёмно-синего, это точно подчеркнёт чувство стиля владельца смартфона. Кстати, для первых покупателей V25 Pro беспроводные наушники в подарок.

Стабилизация

Есть ещё один способ улучшить качество снимков при недостаточной освещённости – увеличить выдержку. Это время, за которое камера фиксирует изображение. Тут всё просто: чем больше выдержка, тем больше света попадёт на матрицу. Но для этого камера должна быть абсолютно неподвижна, иначе изображение получится смазанным. При съёмке с рук добиться такого едва ли возможно, поэтому в смартфонах средневысокого ценового сегмента используется оптическая стабилизация изображения (OIS). Работает она так, гироскоп и акселерометр постоянно определяют сдвиги камеры в пространстве и электрические приводы компенсируют эти движения, стабилизируя модуль камеры.

Кстати, первым смартфоном в индустрии с пятитиосевой gimbal стабилизацией стал vivo X50 Pro. Созданный по образцу полноразмерного профессионального стабилизатора, встроенный модуль в X50 Pro обеспечивает повышенную устойчивость основной камеры, двигаясь в направлении, противоположном тряске.

Эта система также расширяет угол поворота и зону защиты от сотрясений по сравнению с оптической стабилизацией (OIS), что приводит к сверхчетким изображениям. Но так как OIS это всё-таки механизм, ещё и небольшого размера, стоит производителям смартфонов такое удовольствие недёшево, поэтому в смартфонах невысокого ценового класса оптическую стабилизацию не встретишь. В этом сегменте используется электронная стабилизация (или EIS), при ней все движения камеры компенсируются процессором при обработке изображения. Некоторые смартфоны, например наш vivo, могут использовать и оптическую и электронную стабилизацию одновременно.

Размер сенсора

А почему бы не сделать смартфон с размером сенсора, как на фотокамерах? Раз уж все остальные методы не решают проблемы со съёмкой при нехватке света и низкой выдержке, так ещё бы и подрос бы динамический диапазон за счёт большего размера пикселей. Дело тут в том, что внутри смартфона очень мало места. И чтобы в него поместился большой модуль камеры, необходимо либо уменьшать размеры остальных компонентов, а уменьшить зачастую можно только аккумулятор, либо значительно увеличивать толщину и вес смартфона. А главное — для покрытия большой матрицы нужна выпирающая оптика.

Второй подход используется чаще, но такие смартфоны получаются совсем нишевыми, далеко не все готовы ради хорошей камеры носить с собой тяжёлый смартфон с огромной выпирающей камерой. Поэтому оптимизации нужно искать где-то ещё, например, в линзах.

Линзы

А ведь любой, даже самый продвинутый сенсор будет бесполезен без системы линз, и именно она занимает больше всего места в модуле камеры смартфона. Неужели нельзя обойтись вообще без линз? К сожалению, нет. В любом модуле камеры есть три типа линз:

• Собирающая
• Фокусирующая
• Корректирующая

Самая основная, это собирающая – чтобы маленький сенсор «захватил» большую сцену, её необходимо «сжать» до размеров этого самого сенсора. Для этого нужна выпуклая собирающая линза, она собирает пучок световых лучей в одну точку. В целом, для получения снимка достаточно всего одной такой линзы, но качество такого снимка будет невысоким из-за расфокуса и искажений, или аберраций.

То есть ещё необходима фокусирующая линза, в отличие от других линз, она может перемещаться внутри объектива, чтобы достичь необходимой резкости изображения. Для определения нужного положения фокусирующей линзы используются различные технологии автофокуса, на эту тему у нас было отдельное видео на канале, поэтому не будем на этом останавливаться.

Для устранения искажений применяются применяются различные корректирующие линзы. Например, для уменьшения эффекта хроматической аберрации. Он возникает из-за того, что у каждого цвета своя длина волны и поэтому некоторые цвета могут быть в расфокусе, так как они не сходятся в одной точке. Из-за этого снижается чёткость изображения и появляются цветные контуры. Для борьбы с этим эффектом в каждой системе линз есть ахроматическая линза, которая соединяет цветовые лучи в одной точке.

В «больших» фотоаппаратах все эти линзы представляют собой отдельные стеклянные элементы, которые можно заметить или подстроить под себя. А в смартфонах для экономии места линза, по сути, одна, просто склеенная из нескольких пластиковых элементов, обычно от 5 до 7. Выбор пластика в качестве материала обусловлен тем, что при таких маленьких размерах, с пластиком работать проще, а ещё пластиковая линза не разобьётся от падения.

Фокусное расстояние

Ещё именно линзы определяют фокусное расстояние, это расстояние от точки схождения лучей внутри объектива до сенсора камеры, если несколько упростить, то это на каком расстоянии от линз находится сенсор камеры. Фокусное расстояние определяет угол обзора камеры, то есть насколько «широко» камера видит сцену. Чем меньше фокусное расстояние, тем больше угол обзора, но вместе с увеличением угла обзора возникает бочкообразная дисторсия, также называемая «рыбий глаз», она возникает из-за того, что линзами захватывается много информации, но поместить её необходимо на небольшой сенсор камеры. А объективы, то есть системы линз, с большим фокусным расстояниями используются для получения зума, так как из-за малого угла обзора создаётся иллюзия, что изображение приближено.

Двойные-тройные камеры

На фотоаппарате в плане объективов всё просто, под каждую задачу меняешь объектив и всё, одна камера становится максимально универсальной. На смартфоне такой вариант невозможен в силу того, что линзы невзаимозаменяемые, из-за своего малого размера и высокой плотности компонентов внутри смартфона. Поэтому для расширения функционала камеры начали… добавлять новые камеры. Вообще, эта идея не новая.

Первые смартфоны с двумя камерами появились чуть больше 10-ти лет назад, но там две камеры использовались для создания 3D-эффекта. А вот использование двух разных модулей под разные задачи стало трендом лишь в последние 5 лет.

Кстати, двойная камера может быть не только тыльной, но и фронтальной. Например, смартфон vivo V5 plus был первым в мире смартфоном с двойной фронтальной камерой, а через пару лет vivo V17 Pro стал первым смартфоном с двойной “выдвигающейся” селфи-камерой.

Сейчас дополнительные камеры устанавливают практически все производители в смартфоны всех ценовых сегментов.

Например, в уже упомянутом vivo V25 pro три модуля камеры:

• Основной объектив, со средним углом обзора и самой высокой светочувствительностью.
• Сверхширокоугольный объектив, он же «сверхширик», малое фокусное расстояние даёт ему большой угол обзора. Такой камерой можно захватывать сцену максимально широко и получать интересные снимки, например вот такой или такой.
• И макрообъектив, также может нести функцию замера глубины, нужен либо для создания макроснимков, либо для определения и отделения фона при портретной съёмке.

Помимо этих модулей, в смартфонах также часто устанавливают телеобъектив. Он же «телевик», у него фокусное расстояние кратно меньше таковому у основного объектива, эта разница как раз и является зум-фактором. Например, если у основного объектива фокусное расстояние 24 мм, а у телевика 77 мм, то мы, округляя, получаем трёхкратный оптический зум.

С недавнего времени в смартфонах появились так называемые перископные телеобъективы, они дают больший оптический зум, по сравнению с обычным телеобъективом, из-за большего фокусного расстояния, вплоть до 100 мм, но в чём между ними разница? Фокусное расстояние – это всё-таки физическая величина, а значит, что в смартфоне должно быть место под это расстояние, а ещё под линзы и сенсор камеры. Поэтому, когда увеличение фокусного расстояния «упёрлось» в толщину смартфона, инженеры придумали повернуть камеру параллельно корпусу смартфона, уместить таким образом всю оптику, а затем зеркалом «вернуть» обзор камеры в нужную плоскость. Первые смартфоны с перископными объективами появились в 2019-м году, и с тех пор, всё больше производителей перенимают эту технологию.

У vivo тоже есть смартфоны с таким объективом, например, vivo X70 Pro+, у которого помимо обычного телеобъектива с двухкратным увеличением, есть ещё и перископный объектив, дающий пятикратное приближение.

Но даже у самых продвинутых «вспомогательных» модулей камер есть большой недостаток, это невысокое качество съёмки при недостаточном освещении. Дело в том, таким модулям нужны дополнительные линзы для увеличения угла обзора, или для зума, и каждая линза уменьшает количество света, которое попадает на матрицу. Из-за этого светосила объектива становится меньше, а итоговая картинка темнее.

Заключение

Получается, что ключевое отличие мобильных камер от “больших” фотоаппаратов это значительное использование программных алгоритмов, они комбинируют снимки с разных объективов для создания портретного размытия, улучшают качество ночных снимков, и, что самое главное, дают возможность пользователю просто достать смартфон, открыть камеру и сделать снимок, без необходимости настройки параметров под каждую конкретную сцену. И именно алгоритмы будут улучшать качество съемки на смартфон, потому что вряд-ли нас ожидают существенные улучшение в оптике, или в сенсорах камер, их размер всё-таки существенно ограничен, и всё улучшение упирается в законы физики, а их пока никому обмануть не удалось. А вот алгоритмы можно улучшать практически бесконечно, и нейросети прекрасно этому способствуют, такие дела.

Ожидается, что уже в следующем месяце Motorola представит новый флагманский смартфон Moto Edge, в котором будет использоваться 200-мегапиксельный сенсор ISOCELL HP1 от Samsung. В преддверии запуска компания поделилась фотографией, сделанной с его помощью, в социальных сетях Китая. Motorola объявила о выпуске нового флагманского смартфона летом этого года еще в мае.

GSM Arena заметила сообщение на Weibo от генерального менеджера Motorola в Китае Чэнь Цзиня, который опубликовал образец фотографии, сделанной с помощью нового 200-мегапиксельного сенсора, который появится в смартфоне компании.

Фотография сделана с разрешением 50 мегапикселей с использованием способности сенсора создавать изображение путем объединения четырех пикселей в один. Фотография имеет довольно большой размер — 6 144 на 8 192 пикселей, а ее размер составляет 13,8 мегабайт.

Фотография выглядит наиболее впечатляюще при просмотре в разрешении менее 100%, но при просмотре в полном разрешении начинают проявляться некоторые проблемы с качеством.

Очевидно, что имеются значительные аберрации объектива, в частности, недостаточная резкость по всему кадру. Хотя матрица способна передавать экстремальное разрешение, оптическая система, используемая для захвата изображения, либо несовершенна, либо не доработана, поскольку наблюдается значительное размытие пикселей, заметное вскоре после отведения взгляда от центра изображения. При этом даже самый центр изображения не кажется особенно резким.

Это не первый раз, когда мы видим датчик HP1 от Samsung в действии. В конце мая Samsung опубликовал кампанию, демонстрирующую разрешение сенсора путем печати фотографии размером 616 квадратных метров (2 021 квадратный фут), сделанной с его помощью.

Как бы впечатляюще это ни звучало, рекламные щиты обычно не печатаются с очень высоким разрешением, поскольку расстояние просмотра не предполагается очень близким. Поэтому, хотя на первый взгляд кажется впечатляющим, что Samsung смог сделать такую большую печать с помощью смартфона, это становится менее впечатляющим, если учесть, что Apple уже много лет печатает фотографии iPhone на рекламных щитах.

Samsung указал, что фотографию можно рассматривать вблизи с высокой точностью, но не предоставил СМИ эту фотографию в полном разрешении и не сказал, насколько близко можно рассматривать гигантскую фотографию кошки и сохранять ее четкость. Этот снимок от Motorola — первый случай, когда в общий доступ попала фотография с полным разрешением, сделанная с помощью этого сенсора в устройстве конечного использования, и это даже не максимальные 200 мегапикселей, которые обещает HP1. Несмотря на пиксельный биннинг, проблемы с изображением, похоже, связаны с качеством оптики, и мы надеемся, что Motorola сможет доработать ее до выхода смартфона на рынок в конце этого года.

Компания Samsung Electronics анонсировала новые датчики камеры для смартфонов. Это 200-мегапиксельный датчик ISOCELL HP3, который имеет различные усовершенствования и функции по сравнению со своим предшественником.

Датчик HP3 является преемником датчика ISOCELL HP1, который имел пиксели размером 0.64 мкм. Но теперь южнокорейский технологический гигант объявил о выпуске нового датчика изображения HP3, который имеет самые маленькие в отрасли пиксели размером 0,56 мкм. Другими словами, новейшая камера оснащена датчиком высокого разрешения с самыми маленькими пикселями. Компания также представляет новую технологию, которая называется Epic Resolution Pro, предлагающую высокое разрешение профессионального уровня для пользователей смартфонов.

Новый датчик ISOCELL HP3 имеет на 12 процентов меньший размер пикселя, а также позволяет уменьшить площадь поверхности модуля камеры примерно на 20 процентов. Примечательно, что датчик HP3 также поддерживает запись видео до 8K со скоростью 30 кадров в секунду и 4K со скоростью 120 кадров в секунду. Интересно, что он может записывать видео высокого разрешения с минимальными потерями в поле зрения, особенно в разрешении 8K.

Еще одним примечательным аспектом нового сенсора является технология Tetra2pixel. Обычно пиксельный биннинг, при котором датчик камеры объединяет четыре пикселя (он же квадробининг), помогает получить более яркие изображения в условиях низкой освещенности. Но в новом сенсоре HP3 Samsung объединяет уже 16 пикселей в один, получая разрешение изображения чуть выше 12 Мп. Теоретически, это должно позволить камере предложить один пиксельный датчик большого размера, который будет способен принимать больше света для лучшей работы в ночных сценах. На данный момент неизвестно, в каком смартфоне будет представлен этот сенсор, но, скорее всего, он будет предназначен для флагманских моделей, таких как Galaxy S.

Китайский производитель смартфонов, компания Oppo, объявила о заключении трехлетнего стратегического партнерства со шведским производителем камер Hasselblad, чтобы привнести технологии Hasselblad в мобильные устройства Oppo.

Напомним, что в декабре 2020 года бренд Vivo объявил о сотрудничестве с компанией Zeiss для совместной разработки систем обработки изображений для флагманской линейки смартфонов. Четыре месяца спустя, в марте 2021 года, компания OnePlus объявила о сотрудничестве с производителем камер Hasselblad. Камеры, созданные совместно с Hasselblad появились в OnePlus 9 и OnePlus 9 Pro, а также в линейке OnePlus 10. Теперь производитель смартфонов Oppo будет стремиться получить опыт работы с изображениями от опытного ветерана в мире изображений.

Напомним, что сейчас устройства OnePlus меняют пользовательский интерфейс с Oxygen OS на Color OS, а Пит Лау перешел на высокий пост в OPPO и никто уже не скрывает, что бренды постепенно сближаются.

Если три партнерства между культовыми брендами камер и китайскими производителями смартфонов за один год кажутся необычными, это не так уж удивительно, если принять во внимание, что Vivo, OnePlus и Oppo являются дочерними компаниями BBK Electronics Corporation, китайского многонационального конгломерата, который в настоящее время является одним из крупнейших в мире производителей смартфонов. Помимо Oppo, Vivo и OnePlus, BBK Electronics также владеет компанией Realme, которая, по слухам, еще и сотрудничает с Kodak для будущих моделей смартфонов, а также iQOO, которая является суббрендом Vivo.

Что касается нового партнерства Oppo, то предстоящие смартфоны компании серии Find X станут первыми, в которых будут представлены технологии, полученные в результате партнерства. Хотя серия X3 была последним флагманским предложением Oppo, слухи предполагают, что они могут отказаться от названия X4 и сразу перейти к X5, поскольку число «4» считается несчастливым в китайской культуре. Каким бы ни было название, скорее всего, серьезные технологии обработки изображений от Hasselblad будут использоваться только в самой флагманской модели Find X Pro, а не в моделях среднего ценового диапазона, как отмечает Android Authority.

«OPPO и Hasselblad теперь будут работать вместе над дальнейшей разработкой передовых решений для обработки изображений в рамках сотрудничества R&D, целью которого является предоставление пользователям более естественных цветов и более изысканных впечатлений от съемки», — говорится в пресс-релизе Oppo. «Используя естественную калибровку цвета с Hasselblad, OPPO также намерена добиться максимально естественного тона кожи при портретной съемке».

Компания OPPO объявила о разработке собственного нейромодуля (NPU) для установки в будущие мобильные устройства. Новый 6-нм чипсет, который OPPO назвали MariSilicon X, включает в себя NPU, сигнальный процессор (ISP) и индивидуальную архитектуру памяти, которые работают вместе, чтобы улучшить возможности мобильной фотографии. Отметим, что таким образом компания поддерживает тренд, который задали другие игроки рынка. Следует напомнить, что ранее на собственные процессоры перешли Apple (A-серия в смартфонах, а также линейка процессоров Apple M1), Google со своим чипом Tensor, а также vivo, который также представил отдельный чипсет V1 для обработки изображения.

В OPPO утверждают, что NPU MariSilicon X, который является лишь небольшой частью всего чипсета, необходимого для питания смартфона, может обрабатывать до 18 триллионов операций в секунду (TOPS) int8 со скоростью 11,6 TOPS на ватт. Для сравнения, нейронный процессор A15 Bionic, используемый в устройствах iPhone 13 Pro и 13 Pro Max, достигает отметки в 15,8 TOPS.

В реальности это означает, что алгоритм шумоподавления с использованием искусственного интеллекта работает в 20 раз быстрее и при этом использует менее половины мощности смартфона, который работает на чипе Snapdragon 888.

MariSilicon X может обрабатывать до 8,5 ГБ в секунду при использовании общей памяти DDR и использует стандарт 20 bit HDR, то есть может запускать алгоритмы обработки прямо в RAW-формате. Компания утверждает, что применение алгоритмов на исходных данных изображения обеспечивает соотношение сигнал/шум (SNR) на уровне 8 дБ. NPU также использует то, что Oppo называет Dual Image Pipeline с «двойным суперсэмплированием исходных данных». Это означает, что MariSilicon X работает с датчиками RGBW для захвата сигналов RGB и W отдельно, а затем объединяет данные вместе для получения «улучшения соотношения сигнал/шум на 8,6 дБ и улучшения качества текстур в 1,7 раза».

Интересно, что сама OPPO также объявила о разработке датчика RGBW «следующего поколения» еще в августе на своем мероприятии «Future Imaging Technology Launch Event». Компания заявляет, что такой сенсор может захватывать на 60% больше света, чем датчики предыдущего поколения, при этом обеспечивая снижение шума на 35% и говорит, что «разработала новый «алгоритм Quadra pixel binning», предназначенный для уменьшения муара, который был проблемой в ранних поколениях ее датчиков RGBW.

Вместе MariSilicon X и датчик «Next Generation RGBW» могут стать мощной комбинацией в грядущих смартфонах Oppo с их 20-битными возможностями Raw, 4K Ultra HDR видео, 4K Night Video и другими.

Также в рамках мероприятия Inno World 2021 компания представила новую технологию портретной камеры, обеспечивающей двукратный оптический зум и эквивалентное фокусное расстояние 50 мм. Главной фишкой новой камеры является выдвижная конструкция за счет чего удалось установить сюда большой сенсор Sony Exmor IMX766 размером 1/1,56 дюйма с разрешением 50 Мп. При этом в сложенном состоянии камера работать не будет, хотя ранее многие считали, что производитель попытается сделать камеру, которая сможет работать в широкоугольном и зум-положении.