Комфортно ли вам смотреть видео в низком разрешении? Этот вопрос волнует многих пользователей современных устройств. Разрешение определяет размер видео — его высоту и ширину. Представьте, что вы смотрите контент в разрешении 480p на большом экране. В таком случае изображение займёт не более десятой части площади дисплея. Безусловно, просмотр был бы комфортнее, если бы картинка стала больше.

Но что происходит, когда мы просто увеличиваем видео? Казалось бы, решение очевидно — растянуть изображение на весь экран. Однако результат оказывается далёким от идеала. Видео действительно занимает всю площадь экрана, но его разрешение — то есть количество пикселей — остаётся прежним. Многие замечали, что на большом телевизоре старые видео и фильмы выглядят нечёткими, размытыми. Возникает закономерный вопрос: можно ли это исправить?

Ответ — да. На помощь приходят современные алгоритмы апскейлинга.

Что такое апскейлинг и как он работает

Апскейлинг — общее название множества технологий, которые увеличивают разрешение изображений. Эта технология применяется повсеместно. Когда вы запускаете фильм в низком качестве на 4K-телевизоре, картинка обязательно проходит через апскейлинг. При этом качество обычно не улучшается заметным образом. Дело в том, что простые алгоритмы увеличения разрешения не анализируют содержимое изображения и не дорисовывают новые детали, а просто растягивают то, что есть.

Принципы работы алгоритмов повышения разрешения

Как вообще устроены алгоритмы повышения разрешения? Как работают современные апскейлеры и как с их помощью улучшается качество наших любимых видео и фильмов? Как применение искусственного интеллекта позволило сделать апскейлинг более качественным? Давайте разберёмся.

В самом масштабировании разрешения нет ничего сложного и инновационного. Существует несколько десятков алгоритмов, с помощью которых можно в реальном времени увеличивать или снижать разрешение изображения, подгоняя его под размеры и особенности экрана.

Апскейлинг может выполняться:

  • На стороне источника (компьютером или консолью)
  • На стороне устройства вывода (монитором или телевизором)
  • Даже специальными кабелями

Чаще всего конвертация происходит устройством отображения. Источник отправляет кадр в заданном (часто называемом нативном) разрешении, а задачу по тому, чтобы он занимал всю площадь экрана и минимально терял в качестве, решает уже экран — телевизор или монитор.

Два типа технологий апскейлинга

Способов увеличения разрешения изображения существует большое множество. Говоря об апскейлинге, необходимо разделять его разновидности, так как они обеспечивают совершенно разное качество изображения на выходе.

Прежде всего, технологии увеличения разрешения изображения делятся на две большие группы:

  1. Математические алгоритмы
  2. Алгоритмы, основанные на применении искусственного интеллекта и машинного обучения

Математические методы: интерполяция

Как вообще работает улучшение разрешения? Откуда возьмутся новые пиксели? Все технологии апскейлинга работают за счёт интерполяции.

Что такое интерполяция

Простыми словами, интерполяция — это использование известной информации для прогнозирования неизвестной.

Приведём простой пример. Допустим, нам известно, что в 10:00 температура за окном составляла 20°C. Также известно, что температура в 12:00 была уже 30°C. Нам нужно узнать, сколько градусов было в 11:00.

Зная температуру в 10 и 12 часа утра, мы можем предположить, что в 11 она была чем-то средним между этими значениями — то есть 25°C. То, что мы сейчас сделали, называется методом линейной интерполяции.

Теперь допустим, что у нас появилось ещё одно измерение — мы знаем, какая температура была в 10:30. Получается, что в первые полчаса температура росла быстрее, чем потом. Если мы используем это новое измерение для попытки угадать температуру в 11:00, то мы уже применяем метод квадратической интерполяции.

Чем больше измерений будет доступно, тем более комплексный и, разумеется, более точный у нас получится алгоритм интерполяции.

Применение интерполяции к изображениям

При увеличении разрешения изображения количество пикселей тоже увеличивается. Например, количество пикселей в 4K-изображении в четыре раза больше, чем в Full HD. Откуда же берутся эти новые пиксели при апскейлинге?

Они дорисовываются специальными алгоритмами, которые как раз основаны на интерполяции.

Метод ближайшего соседа

Самый простой из таких алгоритмов — метод ближайшего соседа. Это самый примитивный и быстрый метод: для каждого пикселя конечного изображения выбирается один пиксель исходного, находящийся к нему ближе всего с учётом масштабирования. В результате каждый пиксель просто становится больше.

Метод простой и понятный, но даёт очень пикселизованное изображение при увеличении. Нам такой метод не подойдёт.

Билинейная интерполяция

Билинейная интерполяция рассматривает квадрат размером 2×2 известных пикселя, окружающих неизвестный. В качестве результата используется взвешенное усреднение этих четырёх пикселей. Грубо говоря, при билинейной интерполяции цвет нового пикселя выбирается как средний между цветами четырёх соседних пикселей.

В результате изображения выглядят значительно более гладко, чем результат работы метода ближайшего соседа.

Кубическая интерполяция

Одна из самых распространённых технологий — кубическая интерполяция. Этот алгоритм достраивает недостающие точки, сверяясь с информацией уже не о четырёх, а о шестнадцати окружающих каждую из них пикселях.

Поскольку точки находятся на разных расстояниях от неизвестного пикселя, ближайшие получают при расчёте больший вес. С помощью кубической интерполяции можно получить намного более чёткие изображения. Этот метод долго считался оптимальным и, например, является стандартным способом масштабирования изображений в Adobe Photoshop.

Существует ещё большое количество различных алгоритмов: аффинные преобразования, свёрточные функции и так далее. Сегодня мы не будем останавливаться на них подробно — общая суть и так ясна.

Качество изображения на выходе простых алгоритмов интерполяции всё равно не подойдёт для преобразования Full HD-контента в приятный глазу 4K или тем более 8K. Как же добиться нужного результата?

Революция искусственного интеллекта в апскейлинге

Здесь на выручку приходят наши старые друзья: машинное обучение и искусственный интеллект.

Продвинутые современные телевизоры и некоторые ТВ-приставки предлагают умный апскейлинг изображения. По своей сути это тоже алгоритмы интерполяции — они тоже дорисовывают недостающие части изображений, угадывая их по известным. С тем лишь отличием, что нейросеть дополнительно ищет на каждом кадре знакомые формы, объекты и текстуры: например, лица людей, траву, деревья или машины.

Как работают умные алгоритмы

Вернёмся к нашему примеру, когда мы угадывали температуру по известным значениям. В 10:00 температура за окном составляла 20°C, а в 12:00 она была уже 30°C. Сколько градусов было в 11:00 утра?

Рассматривая предыдущие алгоритмы, мы использовали эти известные нам данные. Умный алгоритм будет работать иначе — он будет использовать более широкий набор информации:

  • Как обычно меняется температура в это время
  • Насколько тепло было в соседнем городе
  • Сколько градусов было в 11 часа утра вчера

Согласитесь, точность такого алгоритма должна быть гораздо выше.

Преимущества ИИ-апскейлинга

Рост популярности искусственного интеллекта и машинного обучения произвёл большую революцию в области масштабирования видео. Эти технологии обладают способностью анализировать и учиться на огромных объёмах данных, что позволяет им делать высокоточные прогнозы о том, как масштабировать видео.

Алгоритмы искусственного интеллекта и машинного обучения могут:

  • Анализировать шаблоны и текстуры видео
  • Использовать эту информацию для генерации дополнительных пикселей
  • Улучшать разрешение видео с высокой детализацией

Это приводит к тому, что на выходе получается гораздо более детализированное и реалистичное изображение, чем могут достичь традиционные методы масштабирования. Кроме того, поскольку эти алгоритмы продолжают учиться и улучшаться со временем, качество апскейлинга видео также улучшается.

Обучение алгоритмов апскейлинга

Как обучают алгоритмы повышения разрешения? Обычно специалисты берут фрагмент нужного разрешения — например, видео в нативном 4K или 8K. Далее происходит нечто удивительное и неожиданное: разработчики искусственно снижают качество видео и уменьшают его разрешение до HD или Full HD.

Зачем портить качество?

Хоть это сперва и кажется парадоксальным, на самом деле всё просто. Таким образом формируется датасет из пар аналогичных по содержанию изображений, но отличающихся по качеству:

  • Первое — искажённая картинка в плохом качестве и низком разрешении
  • Второе — она же, но уже в оригинальном супер-качестве и 4K

На этих парах алгоритм и обучается. Он изучает различия между картинками из каждой пары и пытается понять, какими преобразованиями можно сделать из первой картинки вторую.

Для качественного обучения нужны тысячи, десятки и даже сотни тысяч таких пар. Если проще: алгоритм учится заполнять недостающую информацию в предоставленных ему изображениях с низким разрешением, а делает он это на основе исходных изображений с высоким разрешением. Таким образом он добавляет реалистичные детали, которых никогда не было.

Алгоритм экстраполирует детали изображения, полагаясь на технологии глубокого обучения искусственного интеллекта, и за счёт этого обеспечивается высокое качество и чёткая детализация картинки на выходе.

Оценка качества апскейлинга

Алгоритмов апскейлинга с помощью ИИ существует огромное множество. Сравнение результатов и качества их работы — серьёзная задача для исследователей. Ведь оценить качество видео довольно трудно, поскольку это эмпирический параметр.

Сравнивают различные методы апскейлинга обычно при помощи специальных метрик. Вот самые популярные из них:

  • PSNR (пиковое отношение сигнал/шум)
  • SSIM (метод сравнения структурного сходства)
  • LPIPS — метрика, использующая глубокие признаки различных нейронных сетей

Сейчас между разработчиками алгоритмов из разных стран ведётся ожесточённая гонка за звание лучшего апскейлера в мире. Разработчики регулярно выпускают обновления алгоритмов, а исследователи и простые пользователи сравнивают их и делают выводы о том, какой из алгоритмов лучше.

Качество на выходе поражает. Да, видео не лишены артефактов, но общее качество заметно улучшается. Применение технологии апскейлинга позволяет насладиться любым контентом в высоком качестве в разрешении 4K и 8K, даже если исходный видеоряд был в низком разрешении или снят очень давно.

Современные телевизоры и технология Neo QLED

Чтобы получить хорошее изображение на телевизоре, конечно, нужен классный, яркий и качественный экран. По-настоящему насладиться картинкой получается только тогда, когда алгоритмы апскейлинга и улучшения качества работают в паре с хорошим экраном и качественной матрицей.

Технология Neo QLED

Одна из передовых технологий при производстве экранов — Neo QLED. Neo QLED отличается от уже привычного нам QLED тем, что в таких экранах используется другой тип подсветки. Для этого специально разработаны новые светодиоды Quantum Mini LED, которые в 40 раз меньше стандартных.

В результате получается, что на ту же самую площадь дисплея можно поместить значительно большее количество светодиодов. Это позволяет:

  • Значительно повысить контрастность и яркость изображения
  • Расширить цветовой охват
  • Уменьшить время отклика картинки

Эксперимент: нативное 4K против апскейлинга

Видео в ультравысоком разрешении фактически бывает двух видов:

  1. Изображение в нативном 4K или 8K разрешении, которое изначально было снято или отрендерено в таком качестве
  2. Видео, которое было искусственно увеличено до уровня Ultra HD.

Как вы думаете, смогли бы вы отличить видео в нативном 4K или 8K от видео, которое прошло алгоритмы апскейлинга?

Результаты слепого тестирования

В одном из онлайн-кинотеатров провели слепое тестирование. Оно было направлено на то, чтобы проверить, смогут ли случайные зрители отличить видео в оригинальном 4K от видео, которое прошло апскейлинг до 4K.

Как проходил тест:

  1. Специалисты взяли видео в нативном разрешении 4K
  2. Затем ухудшили его качество до 1080p
  3. Потом снова повысили его до 4K, используя алгоритмы апскейлинга
  4. Полученное видео вперемешку с исходными 4K-фрагментами показали 300 людям

Результаты вас удивят:

  • Истинный 4K смогли определить только те люди, которые профессионально занимаются производством видеоконтента, графикой, монтажом и съёмкой
  • Остальные участники эксперимента разделились поровну: кому-то больше понравился исходник, кому-то результат апскейлинга
  • Абсолютное большинство поставили высокую оценку качеству видео и сказали, что не заметили в показанных роликах никаких значительных графических дефектов или шумов

Это означает, что применение технологии апскейлинга достигла своей цели — качество работы технологии не вызывает никаких вопросов.

Дополнительные технологии улучшения изображения

Кроме улучшения разрешения изображения, в современных апскейлерах используется ещё целый ряд алгоритмов для улучшения качества картинки.

Motion Smoothing (сглаживание движения)

Алгоритмы удаления смазывания изображения в движении. Разные производители по-разному называют эти технологии, но основные принципы работы у них схожи.

Необходимость применения таких алгоритмов обусловлена тем, что видео может иметь частоту 24, 30 или 60 кадров в секунду в зависимости от источника, а телевизоры в свою очередь обладают частотой обновления экранов в 50, 60 и 120 Гц. Чтобы устранить несоответствие частоты обновления экрана и источника видео, как раз и применяется технология Motion Smoothing.

Существует несколько разновидностей этого алгоритма:

Black Frame Insertion (BFI)

Метод состоит в добавлении в видеоряд промежуточных кадров с чёрным фоном. Это позволяет подтянуть частоту и уменьшает эффект размытия. Однако изображение становится менее ярким из-за мелькания чёрных кадров.

Дублирование

Алгоритм подразумевает вставку повторов вместо недостающих кадров. Это также позволяет добиться улучшения плавности изображения в определённых сценах.

Интерполяция

Алгоритм анализирует два соседних кадра и формирует на их основе промежуточный. Это самый продвинутый метод улучшения плавности изображения. Технологии этого вида рекомендуют использовать при просмотре динамичных сцен вроде трансляции спортивных событий.

Шумоподавление

Во многих современных телевизорах есть функция шумоподавления. Алгоритмы удаления шумов позволяют заметно улучшить восприятие видеороликов в низком качестве. Такие алгоритмы ищут шумовые пиксели на картинке, отличая пиксели в одинаковых позициях в разных кадрах видеоряда, и таким образом вычисляют шумы.

Ограничения технологии апскейлинга

Дорогие профессиональные камеры больше не нужны? Можно снимать видео на любительскую камеру, прогонять его через апскейлер и улучшайзер, а на выходе получать супер-качество? Конечно, нет. Ведь у технологии есть ряд ограничений.

К сожалению, например, невозможно увеличить изображение из трёх смазанных пикселей и распознать по нему номер машины или лицо преступника, как часто показывают в сериалах или фильмах. То есть алгоритм конечно может дорисовать детали, но совсем не факт, что они будут соответствовать тому, что было на оригинальных кадрах.

Из видео хорошего качества с разрешением 1080p можно без труда сделать 4K. Сложности возникают на этапе работы со старыми фильмами — например, из девяностых годов. Особенно тяжело будет восстановить старое кино, снятое на плохую плёнку и впоследствии оцифрованное.

Это связано с тем, что любой дефект — например, пятно или блик — в искусственном (то есть созданном при помощи апскейлинга) 4K будет преувеличен. Таким образом, кроме того чтобы повысить само разрешение, появляется необходимость искать в кадре дефекты и избавляться от них.

Есть много алгоритмов поиска и классификации дефектов. При обучении моделей для апскейлинга часто используют следующий подход:

  1. На изображение без дефектов наносятся искусственные дефекты
  2. Далее происходит обучение на парах изображений: одно хорошее, второе содержит дефекты
  3. С помощью этого подхода нейросети удаётся эффективно удалять дефекты изображения

Заключение

Качество результатов работы алгоритмов действительно поражает, и это ещё один пример того, как новые технологии не уничтожают и не принижают достижения прошлого, а дают им второе дыхание.

Только представьте, сколько людей смогло действительно насладиться каким-нибудь старым фильмом на большом экране благодаря этой удивительной технологии, не замечая изначально низкого разрешения картинки. Или насколько приятно будет собраться всем вместе и пересмотреть архивное семейное видео, оцифрованное со старой VHS-кассеты, но теперь в высоком разрешении.

Мы выяснили:

  • Каким образом происходит апскейлинг видео
  • Что такое интерполяция и зачем она нужна
  • Как применение ИИ помогло сделать большой скачок в области видеообработки
  • Какие ограничения есть у технологии

Применение технологии апскейлинга позволяет насладиться любым контентом в высоком качестве в разрешении 4K и 8K, даже если исходный видеоряд был в низком разрешении или снят очень давно.