Обзор Sony Xperia 1 III: Смартфон не для всех…

Большой и подробный тест одного из самых мощных и интересных смартфонов современности. Sony Xperia 1 III оказался устройство для продвинутых…
Валерий Истишев 17 августа 2021 в 06:04

Sony Xperia 1 III — это уже третья версия флагмана от Sony в этом дизайне и третий шаг компании к идеальному смартфону для фотографов и видеографов. Но кажется, что этот смартфон только для них…

Это непростой аппарат и я специально не хотел снимать его беглый обзор, поэтому решил сделать месяц жизни, как вы любите.

Вообще взглянув на технические характеристики кажется, что Sony решили сделать смартфон, в котором есть всё и даже больше, но получилось ли у них? Сейчас и выясним.

Технические характеристики

Прежде чем перейти к опыту — я быстро расскажу, что тут есть:

  • топовый процессор Qualcomm Snapdragon 888,
  • 12 ГБ оперативной памяти,
  • 256 или 512 ГБ внутренней памяти типа UFS 3.0,
  • Слот для карты памяти microSD,
  • Аккумулятор на 4500 мАч,
  • Поддержка 5G,
  • OLED экран с 4K-разрешением и разверсткой 120 Гц.

И я еще молчу о камерах – тут их четыре основных, точнее 3,5, но об этом отдельно.

Но что стоит сказать сразу: тут есть оптический зум от 2.9x до 4.4x, если говорить в эквиваленте фокусного расстояния 35 мм, то значения такие: 70 и 105 мм.

Но, чтобы вы понимали, хоть Sony и собрали тут все, что смогли – цена тоже получилась соответствующей: 1300 в долларах или у нас в России 99 990 рублей. В общем, сто тысяч за за версию на 12 ОЗУ и 256 внутренней памяти.

Дизайн

Что же мы получаем от этого премиум-флагмана? По дизайну — стильный, минималистичный прямоугольник с соотношением экрана 21:9 — при этом без вырезов и компромиссов. Внешне мне он нравится!

Мало того сюда даже завезли 3,5 мм аудиоджек. Все-таки Sony еще и компания про звук.

Но что лишено минимализма, так это правая грань смартфона – она просто усыпана кнопками. Слава богу сканер отпечатка и кнопку включения дали совместить, но кроме нее есть: качелька для громкости (считайте, две кнопки – вверх и вниз), отдельная кнопка спуска для камеры, которая традиционна для смартов Sony и она умеет фокусироваться при полунажатии, как на камерах. И еще ко всему этому добавилась одна программируемая кнопка: на ней можно установить вызов голосового ассистента или какое-либо другое приложение. Я думал поставить фонарик, но функционал не позволил. Честно говоря, пользовался ей редко.

При этом, если взглянуть на другую грань, тут пусто — вообще ни одной кнопки!

В общем-то, я люблю аппаратные кнопки, их чувствуешь, быстро находишь пальцами опять же как на камерах — все под рукой. Но тут это может стать проблемой если использовать смартфон со стабилизатором — нужен чехол!

Но так я подумал в начале. В итоге мы заметили, что использование со штативом предусмотрели: две средние кнопки утоплены и они не не мешают зажиму и не нажимаются, когда устанавливаешь смартфон в держатель. За это спасибо!

Насколько удобно таким дизайном пользоваться? То что он узкий – это приятно. Смартфон хорошо лежит в руке, но при использовании одной рукой забудьте про верхнюю часть экране, таких длинных пальцев нет ни у кого.

Да и карманы стоит иметь поглубже, чтобы смартфон случайно не выскочил. Все-таки он довольно скользкий и разок у меня уже упал на асфальт.

Короче, дизайн красивый: выделяющийся, узнаваемый, но не самый практичный.

Есть вопросы к сканеру отпечатков пальцев: он быстрый, но есть и минусы. Например, если несколько раз задеть сенсор в кармане нужными пальцами он разблокируется, а другими — попросит потом вводить код.

Железо

Но что же все-таки с железом. Как мы сказали выше, внутри установлен Qualcomm Snapdragon 888. Как мы знаем, ядрено так греется, а тут еще корпус выглядит таким тонким. В общем, что с охлаждением?

Прежде чем запустить тест троттлинга, мы решили «посчитать попугаев» в тесте Geekbench. В одноядерном тесте мы получили результат, чуть больше тысячи баллов – 1031, а в многоядерном – 3291 балл.

Перед троттлинг тестом хотел отметить, что в целом, при повседневном использовании, смартфон у меня не грелся. Только во время зарядки…

Теперь самое интересное — троттлинг. В этом тесте смартфону стало тяжеловато. Процессор нагрелся выше 50 градусов, а мощность падала периодически. Правда отмечу, что температура на улице и в доме довольно высокая: возможно это также могло повлиять на чистоту эксперимента.

В общем по троттлингу результаты не самые хорошие, но жить можно.

Когда смартфон остыл я запустил Genshin Impact на полчаса и посмотрел как он ведет себя в играх. Важная особенность, что кроме экрана с частотой 120 Гц, тут еще и сенсор на 240 Гц. Что ж, после 15 минут игры, температура в районе 40 градусов Цельсия. Все летает плавно, никаких лагов.

Через полчаса в самом горячем месте – 48 градусов, рука терпит, но уже жарковато. В среднем температура смартфона около 42-44 градусов.

Все-таки Snapdragon 888 и мощный процессор, но его охлаждение – настоящая задача для производителей смартфонов.

Дисплей

В Sony Xperia 1 III установлен отличный OLED-экран диагональю 6,5 дюймов, который поддерживает работу в 4K-разрешении с частотой 120 Гц. При том и то, и другое работает постоянно никаких компромиссных Full HD или QHD. Чтобы вы понимали, плотность пикселей составляет 643 ppi.

Вместе с этим поддержка HDR в цветовом профиле BT2020 или говоря проще – 1 миллиард цветов!

Сразу есть опасения, что с таким экраном будут либо лаги в интерфейсе, либо быстро будет вылетать батарея. И с тем, и с другим, как ни странно, тут все хорошо.

Интерфейс плавный, приятный почти чистый Android 11 с красивыми живыми обоями и стилистикой Sony. Также тут есть боковая панель, которую я использовал для многооконности.

Все хорошо, за исключением одной детали – переворот экрана происходит вечность. А экран хоть и отлично откалиброван, но он слепнет на солнце, яркости иногда не хватает.

Батареи при моем использовании хватало почти на 2 целых дня, чему я был приятно удивлен. А я использовал смартфон целый месяц именно как основной. Понятно, что в зависимости от использования, но при этом всегда хватало на день стабильно.

Космических высот быстрой зарядки ждать не стоит, хотя, как мне кажется, мощности в 30 Вт более чем хватает. Плюс Power Delivery адаптер идет в комплекте. Сюда же добавим Fast Wireless Charging и реверсивную зарядку.

Камера. Фото

Не буду томить, ведь самое интересное в этом аппарате – камеры. По ним и пройдемся подробно. Оптика разработана совместно с Zeiss, софт с подразделением камер Alpha от Sony. Но ведь мы уже это слышали и почему-то сколько бы Sony ни делал флагманы, а также сами матрицы камер, которые стоят во многих смартфонов сегодня. Снимки часто получались хорошие, но не лучшие! Что же поменялось в этот раз?

Во-первых, японцы в теперь полностью выпилили стандартное приложение камеры и добавили вместо него авторежим в собственное продвинутое приложение Photography Pro.

Я начал снимать в авто и они уже сразу стали меня расстраивать. В основном, проблема была с экспозицией: возникло ощущение, что как всегда постобработка Sony не дотягивает и магии не получается. Как же это так? Мобилка для фотографов от фотографов — а снимает вот так? Я не говорю, что плохо, но достаточно обычно, а от этого камерофона ожидаешь большего…

Как выяснилось вскоре – этот смартфон вообще не предназначен для авторежима. Вспомните фотоаппараты: когда там получалось по-настоящему что-то хорошее в авто? Поэтому, как только я начал изучать режимы и начал относится к нему больше как к фотоаппарату — я просек фишку этого девайса.

Обратите внимание: знакомый интерфейс из камер Sony Alpha. Я основном снимал в режиме P для большинства кадров и в S снимал динамику. Но есть тут и полностью ручной режим.

В первом случае (P) регулировал руками экспозицию, ISO и экспозамер и результат сильно изменился.

Отношение также меняется еще за счет того, что в этих режимах нет экранной кнопки спуска — только аппаратная. Именно это заставляет держать смартфон скажем так – классическим образом.

Можно менять настройки и крутить всё. Но стоит понимать, что диафрагма на всех камерах фиксированная, а мой любимый режим на камерах именно A – приоритет диафрагмы, но зато в несколько нажатий вы можете поменять объектив.

И как бы я скептически ни относился к зуму, Xperia как-то смогла меня заставить им пользоваться и получать удовольствие, хоть в продвинутом интерфейсе это и не суперудобно делать.

Тут 4 фокусных расстояния: 16, 24, 70 и 105 мм (экв.), но при этом всего три матрицы все по 12 мегапикселей каждая.

Секрет в том что, третья камера имеет переменное фокусное расстояние: перископический зум тут дополнен движущимся элементом. Это дает небывалую гибкость оптического зума без потери качества, также используется AI Super Resolution Zoom, если увеличивать больше 4.4х.

Сюда же стоит прибавить пятиосевую гиростабилизацию и фазовый автофокус Dual Pixel PDAF на всех камерах опять же перекочевавший из Sony Alpha. И скорость серийной съемки, достигающая 20 кадров в секунду.

Даже по зеленым квадратикам, бегающим по дисплею при полунажатой клавише камеры, видно насколько он быстрый. Компания заявляет скорость фокусировки в 30 миллисекунд. При том можно использовать следящий фокус, тапнув на объект – работает хорошо, но не всегда идеально.

Другая фирменная фишка Sony — фокус по глазам людей и животных также тут есть. Так что получается, что мы имеем фотоаппарат в корпусе смартфона, на который хорошо сможет снимать далеко не каждый, просто нажать на спуск и получить красоту в данном случае не получится!

Кроме того мне не сильно понравилось как Xperia рисует искусственное боке и снимает ночью, то есть именно часть отвечающая за вычислительную фотографию тут слабовата. Не сказать, что тут плохие алгоритмы – они скорее другие. Упор делается на классическую фотографию без дорисовывания и украшения.

Отчасти это можно решить установкой Google Camera App на Sony. Есть готовая сборка: она не идеальна, но как минимум можно использовать ее для ночных фото и портретов в некоторых случаях.

Хотя я бы порекомендовал тем, кто соберется брать себе Xperia 1 III снимать на ручных настройках всегда, ведь смартфон создавался именно для этого.

Камера. Видео

Что же касается видео, то в приложении Photography Pro есть режим видео, но тут хочется поругать софт, меня очень раздражала задержка интерфейса при окончании записи. Хотя само видео получается неплохое, стабилизация отрабатывает хорошо. Особенно приятно играться зумом.

Но, чтобы раскрыть функционал Xperia по полной, нужно снимать видео в приложении Cinema Pro. Его разрабатывали совместно со специалистами CineAlta и оно уже было в прошлых Xperia 1, но теперь тут можно снимать «богические» 4к 120 fps: не каждая камера такое может, не то что смартфоны. Правда работает это только на основную камеру. В общем, киношность зашкаливает и да это опять же далеко не всем нужно.

Еще два важных момента о камерах. В смартфоне Sony имеется ToF-сенсор, а что касается основной матрицы, то она действительно большая – 1/1,7 дюйма. Размер пикселя – 1.8 микрометра. Если сравнить с большим сенсором у iPhone 12 Pro Max там пиксель 1,7 микрометра. И кроме того, что в матрицу попадает больше света, также снимая объекты перед камерой получается натуральное оптическое боке.

Остальное

Говоря об остальном: смартфон поддерживает 5G и WiFi 6. Последнее проверено на моем WiFi 6 роутере. Также тут есть Bluetooth 5.2.

А еще тут по-настоящему, хорошие и качественные стереодинамики с поддержкой Dolby Atmos.

И еще добавлю ложечку меда про звук. Как я уже сказал тут есть джек для наушников и главное поддержка LDAC и aptX. На iPhone до сих пор нет поддержки беспроводных HiRes кодеков. Хоть на Android’е это не редкость — лично я активно использовал Xperia со своими Sony WH-1000XM4 и радовался звуку!

Дополняя об экосистеме Sony, стоит отметить что смартфон можно использовать как внешний 4K-дисплей для съемки с камерами Sony Alpha. Это тоже приятный лайфхак для видеографов и фотографов. Но для этого понадобится специальный кабель, которого у меня нет. Он продается отдельно.

Итоги

Подводя итог, хочется сказать, что  Sony сделали суперзаряженный смартфон с топовым железом, который должен рвать всех, но как выяснилось не это было целью японцев.

Они сделали смартфон, который хотели создать давно. Смартфон, который плохо снимает на автомате, но показывает небывалые результаты в руках профессионалов фото и видеоэнтузиастов. То есть еще раз для закрепления, Xperia 1 III – это не point-and-shoot камера.  И если проводить параллели с камерами, то можно сказать, что айфон и пиксель это крутая мыльница. Нажал и красиво…

В то же время Sony Xperia – продвинутый любительский аппарат с ручными настройками.

Xperia 1 III – не для всех, но он точно полюбится настоящим ценителям. Он необычный во всем от дизайна до фич. Он кричит, что он Sony, а хорошо это или плохо решать вам! Я с удовольствием проходил с ним месяц.

Google Camera для всех Android: Ссылка на мод внутри

Google Camera для огромного количества Android-смартфонов стал доступен. Ссылка на мод внутри.
aka_opex 1 февраля 2021 в 02:27

В сети появился новый мод Google Camera by B-S-G. Создатели этого мода сообщили редакции сайта IXBT о выходе новой версии MGC_8.1.101_A9_PV0e, основной особенностью которого является поддержка огромного количества устройств. На данный момент не поддерживаются смартфоны на процессорах Exynos и Kirin, что логично.

Официальный список изменений:

  • полная оптимизация, быстрая работа
  • следящий автофокус в видео
  • исправления проблем с камерой Google Pixel были исправлены
  • исправлены сбои фронтального видео для некоторых устройств, не поддерживающих 1080p
  • был временно добавлен элемент для активации астрофотографии
  • добавлена поддержка смартфона Redmi Note 8 Pro на процессоре MTK
  • исправлена проблема зависания интерфейса в Xiaomi Mi Note 10 и Xiaomi Mi 9se
  • исправлены сбои видео на некоторых устройствах
  • добавлены исправления для смартфонов Sony (фиолетовые круги должны исчезать в ночном режиме)
  • исправлены проблемы с Auto NS и ночным режимом для смартфона Realme XT
  • следующее обновление будет посвящено добавлению дополнительных модулей и libpatcher.

Поддерживаются устройства компаний и брендов: Xiaomi, Redmi, OnePlus, Pixel, Samsung, ASUS, realme, LG, Sony, Meizu, ZTE, HTC, Razer, Motorola, Sharp и даже Essential Phone. Список поддерживаемых моделей можно найти по ссылке.

А сам мод MGC_8.1.101_A9_PV0e.apk можно скачать тут.

Gcam 8.1: APK для всех Android-смартфонов

Наконец Google Camera 8.1 доступна почти на всех Android-устройствах. В материале можно найти ссылку на APK-файл c Gcam 8.1 Mod.
aka_opex 7 января 2021 в 05:19

Вместе с анонсом Google Pixel 5, компания представила обновлённое приложение Google Camera. Все мы знаем как снимают смартфоны Pixel, поэтому понятно почему APK Gcam 8.1 довольно быстро стало доступным на других Android-устройствах.

Google Camera известна фишками, связанными прежде всего с использованием искусственного интеллекта, а также астрофотографией, HDR+ и многим другим. Среди новых фишек портретный режим Night Sight, панорама Cinematic и другие. Несмотря на то, что Google Camera 8.0 и 8.1 доступны только на смартфоны линейки Pixel, все эти фишки стали доступны пользователям в рамках APK — Gcam 8.1 Mod.

APK-файл доступен по ссылке и работает на большинстве смартфонов на ОС Android. Пользователи отмечают, что APK может не работать на ряде устройств OnePlus, Samsung и смартфонах, построенных на базе процессора Snapdragon 845. При этом APK-файл корректно работает на Android 10 и 11.

Скачать Urnyx05 Google Camera 8.1 Mod

Фишки Gcam 8.1 Mod от Urnyx05:

  • Добавлена трансформация цветов, чтобы улучшить сатурацию на устройствах с тусклыми цветами
  • Есть все фиксы, необходимые для первого запуска
  • Добавлена опция, чтобы обрать фокус-трекинг
  • Добавлены моды, чтобы настроить EIS
  • Добавлены кнопки для контроля автоматического баланса белого AWB
  • Опция выбора между типами автоматического баланса белого: Pixel 2, Pixel 3, IMX586 и IMX686
  • Улучшены цвета на устройстве Xiaomi Mi Note 10
  • Дбавлена опция, чтобы убирать синтетическую заполняющую вспышку
  • Есть опция убирать автоматический Night Sight в портретах и видео

Марк Левой покинул Google: Камера Pixel всё?

Сначала Марио Кейроз, теперь Марк Левой — Google теряет ключевых сотрудников мобильного направления. Что будет с Pixel?
aka_opex 16 мая 2020 в 10:16

На днях стало известно, что создатель приложения Google Camera и главный «евангелист» вычислительной фотографии Марк Левой покинул компанию Google в марте этого года.

Марк познакомился с Ларри Пейджем и Сергеем Бриом, когда они учились в Стэнфорде. Далее он возглавлял проект Стэнфордского университета, который впоследствии стал Google Street View, выступал консультантом Google Glass, а в 2014 году стал полноценным работником Google, который стал главным по технологиям камеры в линейке смартфонов Pixel. Именно ему мы обязаны большинством фишек вычислительной фотографии: Night Shot, Astrophotography и SuperResZoom.

Что ж — ждём анонса Pixel 4a, который судя по всему стал последним полноценным идейным проектом Левоя.

Отметим, что ранее стало известно, что Google также покинул Марио Кейроз, который отвечал за всё мобильное направление и отчитывался напрямую гендиректору Google Сундару Пичаи. Кейроз покинул компанию в январе.

 

Астрофотография на Pixel 4: Как это работает?

Валера уехал в горы, чтобы сделать несколько крутых снимков на Pixel 4 XL, используя новый режим АСТРОФОТОГРАФИИ
Валерий Истишев 6 ноября 2019 в 12:07

А вы знали что на смартфон можно сделать такое фото? Посмотрите, что может Pixel 4.

 

На самом деле я вас немного обманул и это фото сделано на iPhone 11 Pro, а вот снимок при тех же условиях на Pixel 4.

Как такое стало возможным? Попробуем разобраться!

Классический астрофотограф — это человек со штативом, с хорошей дорогой камерой, желательно полнокадровой, находящийся где-то далеко от цивилизации, то есть с минимумом светового мусора вокруг. И самое главное — с багажом знаний и умений. 

Но сегодня всё больше сложных вещей становятся простыми, и с тем же Pixel и обновленной Google Camera каждый может стать немного астрофотографом — но для этого по-прежнему понадобится штатив и темнота — остальные пункты можно вычеркнуть.

Вот несколько кадров на Pixel 4 XL, и сейчас я расскажу как их сделать самому и как все работает внутри. Что самое интересное — на самом деле, это может почти каждый Android-смартфон.

Но вернемся к подготовке к снимку. Почему я твержу о темноте, потому что это действительно важно! Спросите себя — как часто вы видите звезды, например, в Москве или в другом крупном городе. Даже в безоблачную погоду максимум, что можно разглядеть это ковш большой медведицы, и то не всегда — остальные звезды не видно из-за огромного количества света, который выделяют города. Если же вы хотите узнать, где лучше видно звёзды — зайдите на сайт www.lightpollutionmap.infoПо карте светового загрязнения можно понять насколько далеко надо уехать.

Подготовку закончили, штатив есть, темноту нашли, не забываем и про погоду, облака тоже могут всё испортить — теперь разберемся как сама магия происходит.

В камерах чаще всего идет работа с длинными выдержками, а решающими факторами может стать оптика и размер матрицы, и уже далее идёт кропотливая постобработка на компьютере . Астрофото на Pixel 4 и Pixel 4 XL — это отдельная функция и она имеет немного другие принципы. Главное — все должно делаться на автомате по одному нажатию — в этом и магия!

Google называет этот режим HDR+ на стероидах. То есть технически астрофотография — это не развитие ночного режима, а разновидность стандартного режима для дневных снимков, что забавно!

Для тех кто не смотрел наш подробный разбор технологии HDR+ напоминаю: в этом режиме делается несколько снимков с короткой экспозицией. Потом они объединяются с усреднением цвета каждого пикселя, что позволяет убрать шумы и подтянуть тени. И вуаля!!! Мы получаем чистую картинку с широким динамическим диапазоном.

Режим астрофотографии делает почти тоже самое, только теперь экспозиция каждого кадра становится длинной и длится аж до 15 секунд. При этом количество кадров достигать шестнадцати.

Суммарно это дает экспозицию в 4 минуты, за которые телефон способен собрать много света, даже от невидимых для человеческого глаза звёзд! Но чтобы всё заработало телефон необходимо надежно зафиксировать на штативе или просто куда-нибудь положить. Иначе режим просто не включится. В настройках камеры даже нет отдельного режима. Тогда как это работает? 

Если камера находится в ночном режиме, смартфон сам определяет, что его поставили на штатив и появляется уведомление, что включен режим астрофотографии.

Вы скажете, что это не серьёзно! Если снимать целых 4 минуты, да ещё и на штативе — любой телефон сможет сделать крутой ночной снимок. Но это не совсем так!

Дело в том, что у всех цифровых матриц, особенно у маленьких, есть большая проблема — при длинных выдержках многие пиксели на матрице, условно говоря, перегреваются и превращаются в белые точки. Которые, в нашем случае, довольно сложно отделить от настоящих звезд. 

И может быть в некоторых компаниях решили бы: “так даже лучше — будет больше звёзд на небе!” Но команда Gcam пошла другим путём и научилась математически вычислять горячие пиксели, и удалять их, а не звёздочки.

 

И так мы получили много света, удалили горячие пиксели — осталось дело за малым, надо объединить полученные снимки, как это всегда делал алгоритм HDR+.

Но появляется другая проблема. Мы можем зафиксировать телефон, но не нашу планету, которая постоянно вращается, и соответственно, звезды перемещаются по небу. В результате, если мы просто склеим снимки получится скорее снимок с лайттреками или же в буквально смысле «земля уйдёт из-под ног».

Поэтому в дело вступает наша любимая семантическая сегментация, в которую Google тоже умеет! Небо отделяется от Земли и каждый из участков фотографии выравнивается и обрабатывается по-своему. В результате чего мы получаем чистое сияющее ночное небо и детализированный земной пейзаж.

Да-да, всё это очень прикольно, но где мне найти звёздное небо? Я же в городе живу, скажете вы. Самое интересное, этот режим отлично работает и для обычной ночной фотографии. Причем качество снимков получается сравнимое с полноценным большим фотоаппаратом.

Правда в этом случае смартфон снимает часто меньше 4 минут —  где-то 2-3 и любопытно что результат получается почти такой же как и на iPhone 11 Pro с выдержкой всего 20-30 секунд. Можете сами изучить кадры по ссылке.

И в завершении моё самое любимое. Ведь перед нами чисто софтверная история. А значит можно просто накатить порт последней Google Camera на свой Android-смартфон и наслаждаться звездным пейзажем!

Благодарим за помощь в создании материала нашего друга Антона Евстратенко.

Магия Google: Как работает SuperResZoom?

Продолжаем раскрывать секреты и тайны камеры Google. На этот раз рассказываем о технологии SuperResZoom.
vedensky 11 октября 2019 в 06:04

В детстве мне всегда нравилось как в фильмах детективы увеличивали фрагменты видео, чтобы можно было разглядеть лицо убийцы в отражении зрачка жертвы. Это было забавно, но очень круто! Теперь же подобные технологии потихоньку проникают в реальную жизнь.

Как это возможно, ведь у цифрового изображения есть свой предел? Но это кино и в нем можно делать что угодно. Но оказывается, что сейчас это уже реальность и Google хакнул систему и придумал цифровой зум, который уделывает оптический.

Сегодня мы расскажем как Google совершил революцию в мире цифрового приближения. И даже больше, как он вновь переписал всё в цифровой фотографии со своей технологией SuperResZoom.

Проблема

Начнём с того, что цифровое увеличение задача сама по себе нетривиальная. Мало того, что для увеличенного снимка нужно откуда-то взять детали, которых не было изначально. Так ещё и цифровой снимок есть фундаментальная проблема по своей сути не является полноценным. О чём это я?

Немного теории! Не все об этом знают но 2/3 изображения, которые вы получаете практически с любой цифровой камеры, кроме самых экзотичных, не настоящие, а математически восстановленные!


Звучит как какая-то теория заговора. Давайте объясню.

У современных цифровых сенсоров есть один фундаментальный недостаток — они абсолютные дальтоники, т.е. вообще не различают цвета! Поэтому для того, чтобы получить цветное изображение, перед матрицей устанавливается специальная сетка из цветных фильтров, которые пропускают на матрицу только волны определенного спектра.

Например, для каждого пикселя пропускается только красный, синий и зеленый спектр.

Наиболее распространённый вариант компоновки такой сетки — это RGB фильтр Байера, в котором на каждые 4 пикселя приходится по 2 зеленых, 1 красный и 1 синий. Зеленых фильтров больше, потому, что человеческий глаз более чувствителен к этом спектру. Наверное это связано с тем, что большую часть своей истории человечество и наши предки прожили на деревьях или около них.

В итоге при фильтрации света таким образом, на выходе мы получаем мозаику из красных зеленых и синих пикселей с массой пустых областей. Разрешение зелёного канала падает в 2 раза, а красного и синего аж в 4! Кстати, HUAWEI начиная с линейки П30 частично пытается решить эту проблему, используя вместо зеленых фильтров желтые. Но это уже немного другая тема.

И вот, для того чтобы восстановить полноценное цветное изображение, нам нужно заполнить отсутствующие данные в каждом канале цвета. Этот процесс называется дебайеризацией.

В результате этого восстановления неизбежно теряется часть разрешения, плюс возможны всякие артефакты типа муара, ступенчатости, цветных переливов.

Предыстория технологии

И что теперь?! Выкладываем наши телефоны, цифровые фотоаппараты и снимаем исключительно по старинке на милую душе плёночку?

Естественно, на практике не всё так плачевно. Во-первых, постоянно улучшаются алгоритмы дебайеризации, во вторых компании экспериментируют с цветовыми фильтрами. Как HUAWEI, например, заменил зелёные фильтры на желтые, для увеличения светочувствительности.

Причём же здесь цифровой зум? А еще во многих цифровых фотоаппаратах используется технология Pixel Shift. Что это такое?

Камера делает четыре снимка, в каждом из которых сенсор сдвигается точно на один пиксель. Да-да! Вам не послышалось, в камерах механически двигается матрица. И бинго — готово полноценное изображение!

Но есть проблема — пригодна эта технология только для статичных сюжетов, если камера зафиксирована и объект съемки неподвижен. В тот момент, когда все в индустрии считала, что технология Pixel Shift неприменима в смартфонах Google ответил: А что если мы будем использовать естественную тряску рук фотографа вместо контролируемого сдвига сенсора для создания фотографий в суперразрешении! И они это на самом деле сделали!

Как и в случае с технологией HDR+ из буфера забирается серия кадров и выравнивается друг с другом с максимально возможной точностью. Из-за того что все кадры сняты немного под разным углом это приводит к случайным смещениям суб-пикселей, что даёт достаточно информации для восстановления сигнала более высокого разрешения. БИНГО!

А что делать в случае, если телефон неподвижен? В этом случае Google имитирует естественное движение рук двигая модуль оптической стабилизации! То есть, реально, если вы не трясете камеру, Google трясет ее сам, чтобы сделать лучше изображение. Можете сами проверить это на своих пикселях на максимальном зуме.

На этом не всё! Для того чтобы получить чёткое изображение без артефактов, каждый кадр тщательно анализируется и немного деформируется чтобы совпадать с основным кадром. Для каждого канала цвета анализируются границы объектов и их текстуры. Изображение на границах объектов сплющиваются, чтобы сделать их четче и избавится от ступенек., А в плоских областях наоборот изображение разглаживается, но с поправкой на ожидаемый уровень шума поэтому текстуры не деформируются.

Всё это позволяет получить исходное изображение с разрешением выше, чем это было физически возможно! Просто взрыв мозга!

Но и на этом Google не остановился. Мы ведь тут говорим про цифровой зум. Дальше нам нужно увеличить изображение. Для того чтобы увеличить полученное изображение, используется не какой-то банальный алгоритм интерполяции, находящий промежуточные значения между известными. А фирменный алгоритм гугла RAISR, основанный на машинном обучении. Куда же в современном мире без нейронок?

Итого: технология SuperResZoom состоит из двух частей:

1. Получение фотографии в суперразрешениии, при помощи субппиксельной склейки нескольких кадров

2. Увеличение фото с помощью нейросетей.

Скептик внутри каждого из вас может сказать. Это конечно, круто, но оптическое увеличение всё равно лучше!
Теоретически это верно, но как показала практика, из-за того что места в смартфоне попросту не хватает, производители ставят менее светосильную оптику и матрицу поменьше для телемодуля. Поэтому вплоть до двукратного увеличения, цифровой зум от Google частенько уделывает простенький оптический. Особенно в темноте.

Кстати, этот метод склейки изображений используется по умолчанию в режиме NightSight на Pixel 3, даже если не зумировать. А в будущем он скорее всего полностью заменит собой любимый всеми HDR+.

Более того, технология SuperResZoom переворачивает подход к получению цветного цифрового изображения и открывает массу возможностей для экспериментов цветовыми фильтрами. Поэтому ждём дальнейших прорывов в области цифровой фотографии!

В завершении я даю ссылку на исследование, благодаря которому мы и подготовили этот материал.

Спасибо Антону Евстратенко за помощь в создании текста.

Интерфейс Google Камеры обновился для пользователей Android 6.0

Илья Рябов 19 ноября 2015 в 01:22

Google продолжает подтягивать фирменные приложения к релизу Android Marshmallow, развивая концепцию Material Design.

Google Camera

Свежий апдейт Google Camera приносит новый интерфейс на устройства с версией системы 6.0, а также исправляет некоторые прошлые недочёты.
(далее…)

Новые возможности Google Камеры в Android 6.0

Илья Рябов 15 сентября 2015 в 03:35

Полноценный релиз Android 6.0 Marshmallow, запланированный на конец сентября, не только принесет новые функции, вроде Android Pay и Now on Tap, но и даст другим приложениям расширить возможности.

Авторам Android Police в руки попала свежая версия Google Camera, в которой обнаружились функции создания серий снимков и GIF-анимаций.
(далее…)