Через несколько дней после официального анонса в Нью Йорке и за несколько дней до старта продаж Pixel 4 и Pixel 4 XL стали появляться первые тесты устройства. В момент анонса появился материал на сайте The Verge, далее обзоры смартфонов начали появляться на других площадках, но самое интересное для нас — оценка DxOmark, которая появилась вчера. Самое главное, что можно сказать — новый смартфон от Google не стал лидером мобильного рейтинга DxOmark, получив оценку в 112 баллов за основную камеру и 92 за селфи-камеру. Таким образом, новый смартфон попал лишь на 8 место рейтинга за основную камеру и 7 за фронтальную. Последнее забавно, лишившись второй фронтальной камеры, которая была в Pixel 3, четвёртый Pixel получил такую же оценку и при этом расположился чуть ниже в рейтинге селфи-камер.

Важно заметить, что ранее Pixel никогда и не оказывался во главе рейтинга DxOmark, но всё же французский сайт снова повёл себя странно. Во-первых, по сути главный лидер в вычислительной фотографии не оказывается вверху рейтинга и при этом теряет баллы только из-за отсутствия сверхширокоугольной камеры. Во-вторых, он оказывается, прямо скажем, крепким середняком. В-третьих, судя по тестированию видео Pixel снимает на уровне Samsung Galaxy Note 10+ 5G, что даже удивляет.

И ещё раз отметим, что оценка появилась за три дня до старта продаж смартфона в Европе и США.

А теперь внимание — оценки iPhone 11 Pro на сайте DxOmark до сих пор нет. И это при том что устройство в продаже почти месяц, а на сайте признавались, что смартфон у них есть на руках в отдельном материале. Более того, DxOmark на днях запустили собственный аудио-бенчмарк и там iPhone 11 Pro есть! Что же это такое? И как не продолжить сомневаться в оценках французского агентства?

Может ли смартфон, о котором все утекло месяцы назад удивить? Мой ответ — да! Главным образом это возможно благодаря тому, что Google дофига всего не рассказал про смартфон. Скажем так, утечки были явно контролируемые! А в этом материале мы раскроем все карты.

Pixel 4

Конечно, если говорить о Pixel сразу интересно узнать про камеру и управление жестами и ещё много о чём, но мы начнём с базового — дизайна и корпуса. Итак, Pixel 4 и Pixel 4 XL получили дисплеи с диагоналями 5,7 и 6,3 дюйма соответственно. Две важных новости: во-первых, нет никакой чёлки, во-вторых, тут просто огромные рамки.
Идём дальше: появилась влагозащита по стандарту IP68 (славься, Sony Xperia). Ну и конечно — новый цвет.

1. Софт

А что с софтом? Голый, стоковый Android на борту и новый Google Assistant, который похоже реально пушка! Он позволяет выполнять команды внутри приложений, запросы без обращения через «Окей, Google!» каждый раз и главное — всё это происходит быстро! Почему? Потому что Language Model работает прямо внутри смартфона. Чуть позже поговорим как это стало возможно.

Recorder. Он работает со встроенным транскрибированием. Есть поиск по тексту прямо внутри записей. Но вот вопрос — работает ли он на русском? Пока непонятно! Скорее всего речь пока идёт о поддержке английского языка и только его. И вообще, кажется, всё это только для США и только на английском! Важное слово — ПОКА.

Кстати, в смартфоне по-прежнему остался датчик сжатия по краям — для вызова голосового ассистента, которым я так ни разу и не воспользовался за год. Ещё одна важная деталь: новая фишка работает без подключения к Интернету.

2. Дисплей

В Pixel 4 установлен OLED-дисплей диагональю 5,7 и 6,3 дюйма. Главная новинка — поддержка частоты 90 Гц. Кстати, есть переключение на 60 Гц. Интересно, что экраны даже получили оценку A+ от сайта DisplayMate. Также есть аналог функции TrueTone — Ambient AQ.

3. Жесты

Всем известно, что у Google был проект Soli. Это своеобразный радар, который кстати отключается в авиарежиме. Что же умеет этот элемент? Основной жест — это свайп. Он может переключить музыку. Также можно помахать покемону на живых обоях или выключить будильник. Жестов пока мало: похоже, это связано с тем, что сенсор может путать сложные жесты с другими движениями.
Интересно, что жесты работают на выключенном экране. Если вы отошли от смартфона, с помощью этого сенсора устройство определяет это и отключает Always-On дисплей. Также разблокировка лицом в Pixel 4 — самая быстрая, потому что она начинает сканирование ещё до того, как ты поднял телефон. Снова спасибо Soli.

4. Камера

Основных камеры в Pixel 4 и Pixel 4 XL — две: широкоугольная разрешением 12 Мп и телефото-камера разрешением 16 Мп. Нет сверхширокоугольной камеры: лично я переживу, но знаю, что для многих это важный бонус.

В достаточно большой «лбу» или, как я бы назвал, «шапочке» прячется фронталка разрешением 8 Мп. На сегодня — такое небольшое разрешение маловато. Зато она стала шире — 90 градусов. Интересно, что про камеру вышел рассказывать сам Марк Левой, глава подразделения Google Camera. Кажется, это было первое появление Марка именно на презентации.

Он рассказал подробнее о зуме: теперь используется комбинация Super Res Zoom и оптического увеличения. Также появился Live HDR+: наконец фотография на превью похожа на то, что получится после обработки. Ещё одна новая фишка — настройка ярких и тёмных участков во время съёмки и снова в режиме Live Preview. Возможно, это слишком гиково.

Google Camera в Pixel 4 стала лучше работать с балансом белого, благодаря работе искусственного интеллекта: кстати, об этом мы говорили в одном из материалов о магии Google-камеры.

Также стали лучше портреты и «широкоугольнее», появилось размытие в стиле цифровых камер. Ну и конечно — ночной режим, а точнее режим астро-фотографии.

А вот теперь важный нюанс — про видео ничего не сказали. Оно не изменилось, но вроде появились Live Captions.

А теперь к минусам — теперь не будет безлимитного хранилища фотографий на Google Drive в оригинальном качестве!

5. Железо

Pixel 4 получил новый чип Pixel Neural Core. Зачем он нужен? Судя по всему он не только отвечает за фотографии и делает живое превью HDR+. Видимо он же отрабатывает голос.
Также появился новый чип безопасности Titan M, который защищает данные сторонних приложений.
А теперь о начинке: Qualcomm Snapdragon 855, 6 ГБ оперативной памяти, хранилище на 64 или 128 ГБ.
Сканера отпечатков тут нет. Это немного досадно, потому что например сзади его удобно было использовать для запуска шторки уведомлений.
А вот что обидно, так это объём аккумулятора: 2800 мАч у маленькой версии и 3700 мАч у XL-версии. Поддерживается быстрая и беспроводная зарядка.

В продаже Pixel 4 и Pixel 4 XL появятся с 24 октября по цене 799 и 899 долларов за версии с 64 ГБ. Будет доступно 3 расцветки — белая, чёрная и оранжевая.

Что ещё показали…

Также Google показал свою True Wireless наушники Pixel Buds, которые работают в связке с Google Assistant, в тех же трёх цветах. Работают 5 часов, а заряда кейса хватает на суммарные 24 часа. Они будут доступны в 2020 году.
PixelBook Go. Какой-то унылый ноут на Chrome OS за 650 баксов.

Google Nest Mini. Такая же как Google Home Mini, только из переработанного пластика и с возможностью подвешивать на шуруп на стене.

В детстве мне всегда нравилось как в фильмах детективы увеличивали фрагменты видео, чтобы можно было разглядеть лицо убийцы в отражении зрачка жертвы. Это было забавно, но очень круто! Теперь же подобные технологии потихоньку проникают в реальную жизнь.

Как это возможно, ведь у цифрового изображения есть свой предел? Но это кино и в нем можно делать что угодно. Но оказывается, что сейчас это уже реальность и Google хакнул систему и придумал цифровой зум, который уделывает оптический.

Сегодня мы расскажем как Google совершил революцию в мире цифрового приближения. И даже больше, как он вновь переписал всё в цифровой фотографии со своей технологией SuperResZoom.

Проблема

Начнём с того, что цифровое увеличение задача сама по себе нетривиальная. Мало того, что для увеличенного снимка нужно откуда-то взять детали, которых не было изначально. Так ещё и цифровой снимок есть фундаментальная проблема по своей сути не является полноценным. О чём это я?

Немного теории! Не все об этом знают но 2/3 изображения, которые вы получаете практически с любой цифровой камеры, кроме самых экзотичных, не настоящие, а математически восстановленные!

Звучит как какая-то теория заговора. Давайте объясню.

У современных цифровых сенсоров есть один фундаментальный недостаток — они абсолютные дальтоники, т.е. вообще не различают цвета! Поэтому для того, чтобы получить цветное изображение, перед матрицей устанавливается специальная сетка из цветных фильтров, которые пропускают на матрицу только волны определенного спектра.

Например, для каждого пикселя пропускается только красный, синий и зеленый спектр.

Наиболее распространённый вариант компоновки такой сетки — это RGB фильтр Байера, в котором на каждые 4 пикселя приходится по 2 зеленых, 1 красный и 1 синий. Зеленых фильтров больше, потому, что человеческий глаз более чувствителен к этом спектру. Наверное это связано с тем, что большую часть своей истории человечество и наши предки прожили на деревьях или около них.

В итоге при фильтрации света таким образом, на выходе мы получаем мозаику из красных зеленых и синих пикселей с массой пустых областей. Разрешение зелёного канала падает в 2 раза, а красного и синего аж в 4! Кстати, HUAWEI начиная с линейки П30 частично пытается решить эту проблему, используя вместо зеленых фильтров желтые. Но это уже немного другая тема.

И вот, для того чтобы восстановить полноценное цветное изображение, нам нужно заполнить отсутствующие данные в каждом канале цвета. Этот процесс называется дебайеризацией.

В результате этого восстановления неизбежно теряется часть разрешения, плюс возможны всякие артефакты типа муара, ступенчатости, цветных переливов.

Предыстория технологии

И что теперь?! Выкладываем наши телефоны, цифровые фотоаппараты и снимаем исключительно по старинке на милую душе плёночку?

Естественно, на практике не всё так плачевно. Во-первых, постоянно улучшаются алгоритмы дебайеризации, во вторых компании экспериментируют с цветовыми фильтрами. Как HUAWEI, например, заменил зелёные фильтры на желтые, для увеличения светочувствительности.

Причём же здесь цифровой зум? А еще во многих цифровых фотоаппаратах используется технология Pixel Shift. Что это такое?

Камера делает четыре снимка, в каждом из которых сенсор сдвигается точно на один пиксель. Да-да! Вам не послышалось, в камерах механически двигается матрица. И бинго — готово полноценное изображение!

Но есть проблема — пригодна эта технология только для статичных сюжетов, если камера зафиксирована и объект съемки неподвижен. В тот момент, когда все в индустрии считала, что технология Pixel Shift неприменима в смартфонах Google ответил: А что если мы будем использовать естественную тряску рук фотографа вместо контролируемого сдвига сенсора для создания фотографий в суперразрешении! И они это на самом деле сделали!

Как и в случае с технологией HDR+ из буфера забирается серия кадров и выравнивается друг с другом с максимально возможной точностью. Из-за того что все кадры сняты немного под разным углом это приводит к случайным смещениям суб-пикселей, что даёт достаточно информации для восстановления сигнала более высокого разрешения. БИНГО!

А что делать в случае, если телефон неподвижен? В этом случае Google имитирует естественное движение рук двигая модуль оптической стабилизации! То есть, реально, если вы не трясете камеру, Google трясет ее сам, чтобы сделать лучше изображение. Можете сами проверить это на своих пикселях на максимальном зуме.

На этом не всё! Для того чтобы получить чёткое изображение без артефактов, каждый кадр тщательно анализируется и немного деформируется чтобы совпадать с основным кадром. Для каждого канала цвета анализируются границы объектов и их текстуры. Изображение на границах объектов сплющиваются, чтобы сделать их четче и избавится от ступенек., А в плоских областях наоборот изображение разглаживается, но с поправкой на ожидаемый уровень шума поэтому текстуры не деформируются.

Всё это позволяет получить исходное изображение с разрешением выше, чем это было физически возможно! Просто взрыв мозга!

Но и на этом Google не остановился. Мы ведь тут говорим про цифровой зум. Дальше нам нужно увеличить изображение. Для того чтобы увеличить полученное изображение, используется не какой-то банальный алгоритм интерполяции, находящий промежуточные значения между известными. А фирменный алгоритм гугла RAISR, основанный на машинном обучении. Куда же в современном мире без нейронок?

Итого: технология SuperResZoom состоит из двух частей:

1. Получение фотографии в суперразрешениии, при помощи субппиксельной склейки нескольких кадров

2. Увеличение фото с помощью нейросетей.

Скептик внутри каждого из вас может сказать. Это конечно, круто, но оптическое увеличение всё равно лучше!
Теоретически это верно, но как показала практика, из-за того что места в смартфоне попросту не хватает, производители ставят менее светосильную оптику и матрицу поменьше для телемодуля. Поэтому вплоть до двукратного увеличения, цифровой зум от Google частенько уделывает простенький оптический. Особенно в темноте.

Кстати, этот метод склейки изображений используется по умолчанию в режиме NightSight на Pixel 3, даже если не зумировать. А в будущем он скорее всего полностью заменит собой любимый всеми HDR+.

Более того, технология SuperResZoom переворачивает подход к получению цветного цифрового изображения и открывает массу возможностей для экспериментов цветовыми фильтрами. Поэтому ждём дальнейших прорывов в области цифровой фотографии!

В завершении я даю ссылку на исследование, благодаря которому мы и подготовили этот материал.

Спасибо Антону Евстратенко за помощь в создании текста.

Энди Рубин, более известный как отец Android показал свой новый смартфон — и он кардинально отличается от всего что сейчас есть на рынке. Мобильная индустрия сегодня развивается по определенной парадигме. Улучшаются камеры, экраны становятся полностью безрамочными, растут объёмы памяти и мощность процессоров.

Мало компаний идут против этого течения, боятся наступить на свои же грабли — разве что Samsung со своим Galaxy Fold был свежим глотком, но пойдет ли он дальше, крупные компании боятся смелых экспериментов. Сюда же впишем Mate X от HUAWEI или Mi Mix Alpha от Xiaomi — но они всё примерно про одно и то же.

С другой стороны, сегодня такое время , что даже небольшие компании могут создать свой собственный смартфон. Вспомним хотя бы шестерых ребят из Лондона, которые сделали свой коммуникатор с полноценной клавиатурой на Android, о нём мы рассказывали на IFA 2019.

Но вернемся к Энди Рубину и вспомним, что именно он был главным создателем и евангелистом стартапа с логотипом зеленого робота, который в 2005 году был куплен компанией Google. Проработав в поисковике 9 лет он покинул компанию в октябре 2014-го года и буквально сразу основал свой инкубатор куда привлек около 300 миллионов долларов инвестиций на развитие стартапов.

В итоге к одному из стартапов, под названием Essential Phone он примкнул и сам. Из чего родился немного странный, но для своего времени свежий и крутой смартфон. Правда цена на старте многих отпугнула, с другой стороны это был первый смартфон с каплевидным вырезом. Продажи были не ахти и можно сказать, что проект провалился и с 2017 года мы ничего не слышали ни о новинках компании, ни то, чем она занималась 2 года.

И вот в твиттере Энди появляется это видео:

GEM Colorshift material pic.twitter.com/QJStoiDleH

— Andy Rubin (@Arubin) October 8, 2019

Четыре разноцветных сверкающих гаджета — по форме напоминающие дизайнерские пульты. Подпись гласит GEN Colorshipt material. Что это название продукта GEM? Или просто игра слов?

Из последующих твитов становится чуть понятнее что это. На фотках виден огромный глазок камеры обрамленный каким то элементом, сверху имеется вспышка, а чуть ниже, судя по всему сканер отпечатка пальцев.

Но самый интересный твит по моему был третий, на нем Рубин показал экран гаджета, с интерфейсом карты и многозадачности и вырезом слева под фронтальную камреу. И этот смартфон с очень необычным соотношением сторон примерно 30:9. Подпись же гласит — что тут радикально новый UI и он не похож на Android.

Когда я это увидел, подумал что сюда напрашивается гнущийся дисплей и подобный интерфейс как нельзя хорошо бы лег в концепт Razor Phone от Mororola, о котором мы не раз рассказывали. В итоге твиты собрали куча лайков репостов, но ситуация не прояснялась — дайте хотя бы название!!!

Через пару часов проснулся твиттер Essential с подтверждением того, что компания работает над устройством которое изменит взгляд на мобильный рынок. Сейчас проводится раннее тестирование #projectGEM

Сразу возникает куча вопросов как набирать текст на данном смартфоне: на таком узком экране или набор будет только голосовым? Становится интереснее. про игры и работу с документами как будто бы тоже можно забыть — получается либо красивая звонилка, либо очень нишевый смарт не для всех. И далеко не последний, но тоже важный вопрос — новая ли это ОС или просто UI на базе Android.

В общем я заинтригован, будем следить вместе за новостями. Интересно, получится ли у Рубина с этим смартфоном уже со второй попытки или это полная дичь?

В феврале 2016 года программист из команды Google Dream Флориан Кайнц делает потрясающий ночной снимок моста Золотые ворота на свой верный зеркальный фотоаппарат и демонстрирует его своим коллегам.

— Красота, браво! — восхищаются коллеги из Daydream. И только один дерзкий паренёк из команды Gcam говорит: «А почему бы тебе не сделать такую на фотографию на телефон?»

Флориан воспринимает этот комментарий как вызов! Он немедленно открывает ноутбук и, строка за строкой, начинает писать свою версию приложения Google Camera, в которой можно будет вручную задирать ISO и снимать серию аж до 64 кадров с 4 секундной выдержкой за раз!

Сделав это, он хватает в руки Nexus 6P, свой верный штатив и мчится навстречу мраку ночной калифорнии. Вернувшись домой он вручную обрабатывает полученные серии снимков и добивается феноменального результата.

Это триумф! Коллеги ликуют!

И только из тёмного угла, освещенного одной лишь свечой, содрогая пламя, звучит знаменитый баритон главы подразделения Gcam Марка Левоя: «Это всё фигня! Я тут приложение написал SeeInTheDark называется, оно позволяет делать такие же снимки но без штатива и без всяких мучений с настройками! Давайте-ка добавим такой режим в Google Камеру!

Вероятно, именно так зародилась идея сделать ночной режим в камере Pixel 3. Хоте это был не первый смартфон с такой опцией. Google своей разработкой задали новый стандарт ночной мобильной фотографии. И сейчас это есть почти у всех от Xiaomi до даже iPhone. Так давайте же разберёмся, что такого революционного в технологии Night Sight!

Тем интереснее, что последние слухи про Pixel 4 и утечки приложения Google Camera 7.0 намекают что в новой камере будет серьезный упор на ночную съёмку! Это второй материал из серии про магию Google, подготовленный нами совместно с Антоном Евстратенко (спасибо, бро!).

Сложности

C одной стороны идея ночного режима в камере Pixel лежала на поверхности. Что тут сложного? Берёшь и без того классный алгоритм HDR+, про который мы рассказывали в одном из недавних материалов, да увеличиваешь выдержку каждого снимка. Вот тебе и ночная фотография!

Но, как вы помните по прошлой статье — ключевой особенностью и вообще инновационной идеей алгоритма было то, что он склеивает недосвеченные фотографии с короткой выдержкой. Поэтому если увеличить выдержку, во-первых сложно будет что-то склеить, ведь пройдёт слишком много времени между кадрами. Во-вторых, нужно чтобы это как-то работало при съёмке с рук. Поэтому перед инженерами Google встали две ключевые проблемы:

1. Как бы сделать так, чтобы на сенсор поступало больше света, но при этом чтобы фотографии не смазывались.
2. Как это всё потом склеить?

Смазывание

Начнём с первой проблемы. Очевидно, что стандартного замера выдержки исходя из яркости сцены в данном случае будет недостаточно. Ведь нам нужно получить сцену ярче, чем мы видим. Если мы вообще что-то видим!!! А потом, ещё и не смазать всё к чертям! Поэтому ребята из Google сделали абсолютно гениальную вещь! Они стали “измерять движение” в кадре на основании оптического потока сцены. Согласен — звучит как-то непонятно и слишком сложно. Давайте, объясню попроще.

Условно говоря, камера измеряет насколько сильно движутся объекты в кадре, определяя насколько сдвинулись пиксели в сравнении с предыдущими кадрами, если сильно — берётся выдержка покороче, если движения в кадре нет — длиннее.

При этом ещё учитывается тряска рук: используются данные с акселерометра и гироскопа, чем больше тряска тем — короче выдержка.

Получив данные о движении в кадре и тряске, алгоритм определяет оптимальную выдержку.  И это можно проверить в приложении Google Camera.

При съёмке с рук максимальная выдержка ограничивается 1/15 секунды. А если камера неподвижна, например стоит на штативе, то выдержка может увеличится аж до 1 секунды. Поэтому, дружище, возьми свой тремор под контроль — чем меньше тряски — тем выше качество!

Отлично! За счёт более длинной выдержки мы получаем больше света, из-за, чего ещё и упало —количество шумов. При этом объекты в кадре не размыты! Проблема решена.

Склеивание

Теперь оставалось решить проблему со склейкой полученных кадров. Очевидно, что чем больше выдержка, тем больше шансов, что кадры будут отличаться, а значит придется отбрасывать больше неудачных участков со вспомогательных кадров.

Поэтому, при съёмке с рук камера делает целых 15 снимков и в обработку попадают все 15, а не 7-9 как в обычном HDR+, что даёт больше материала для склейки.

При этом, опять же, если камера неподвижна, то делается только 6 снимков, но большей выдержкой.

Конечно, такой подход не идеальный и на подвижных объектах в кадре всегда можно заметь больше шума. Но это мелочи можно заметить, только если уже совсем вглядываться в каждый пиксель.

Баланс белого

На этом проблемы с ночным режимом не закончились. Человеческий глаз, а точнее мозг, очень хорошо справляется с определением баланса белого, почти в любых условиях освещения мы видим цвет объекта примерно одинаково. Это называется цветопостоянство. Джентльмены в солнцезащитных очках в ночных клубах подтвердят.

Так вот, у современных камер с этим дела обстоят сильно хуже. И если при хорошем освещении камеры неплохо справляются, то ночью определить, что снег желтый или на него просто светит желтый фонарь для камеры бывает сложновато. Впрочем и люди иногда тоже ошибаются в такой ситуации. И здесь команде Gcam на помощь пришли нейросети и безумное упорство инженеров.

Они сделали тысячи, возможно даже десятки тысяч снимков на телефоны Pixel в разных сценах и условиях освещенности. И потом вручную выставили правильный баланс белого для каждого снимка на хорошо откалиброванных мониторах.

На основе этих данных они обучили нейросеть правильно определять баланс белого уже без помощи человека. В итоге им удалось сделать алгоритм который на 20% меньше ошибается и работает до 3000 раз быстрее, чем предыдущий!

При этом алгоритм всё время учится становиться лучше, и на Pixel 4, исходя из планов Google он должен стать основным во всех режимах.

И раз уж мы заговорили про Pixel 4 и слухи.

Судя по утекшим промо-роликам, а также приложению Google Camera 7.0, в новом смартфоне нас ждёт более прокачанный, более мощный, ну вообще мозговзрывающий Night Sight 2.0 c поддержкой астро-фотографии! О чём мечтал наш друг Флориан с первого дня!

Основное нововведение будет видимо в том, что смартфон еще лучше будет подстраивать выдержку под тряску рук или штатив. Я потестировал программу и не могу сказать, что результат шокировал, но звезды видно. Как и шумы, но думаю дело в нефинальной прошивке. Выпускать в таком виде явно не будут. Но пока об этом рано судить, давайте подождем официальной презентации Google 15 октября и увидим всё своими глазами.

Ещё раз благодарим Антона Евстратенко за помощь в создании материала.

Наконец настал момент, когда можно сравнить камеру нового iPhone 11 Pro с уже не новым, но всё ещё суперкрутым Pixel 3 от Google. Он снимает как чёрт и многие считают его лучшей камерой среди смартфонов.

Кто-то наверняка скажет, что Pixel 3 — не лучший. Есть же Samsung Galaxy Note 10 или HUAWEI Mate 30 Pro и P30 Pro со своим ночным режимом.  Но я скажу так — действительно смартфон Samsung в чём-то лучше, в чём-то HUAWEI, но алгоритмы Google порой творят настоящие чудеса. И мне интересно выяснить переплюнул ли их iPhone 11 Pro.

И сразу переходим к делу. Мы будем сравнивать фотографии в разных сценариях: день, ночь, помещение, HDR, портреты. Но мы должны учесть, что у Pixel 3 всего одна камера — широкоугольная, а у iPhone 11 Pro целых три, поэтому будем снимать только на основную. И мы не будем говорить о видео, сегодня — фотобитва.

Начнем со сравнения уровня детализации.

Первый снимок: гора панд, искусственное освещение, IKEA. По балансу белого практически идентично — iPhone чуть теплее. По детализации фото практически одинаковые, но Pixel чуть лучше.

Второй снимок — чёткость листьев как будто чуть лучше на iPhone, но разница минимальна. Разве что на самом светлом участке iPhone смог вытянуть чуть больше облаков.

Третий снимок — парковка. Опять чуть теплее гамма на iPhone 11 Pro, на удалённых объектах виден шум и шумодав на обоих снимках. Тут мы смотрим на детализацию. По номеру на машине — выигрывает Pixel 3.

Всё очень близко, победителя тут выявить трудно — приходится докапываться до самых мелочей. По итогам 2-1 в пользу Pixel 3.

Следующее сравнение — портреты, причём в разных условиях. Стоит отметить, что Google тут полагается только на одну камеру и на машинное обучение, в то время как у iPhone для измерения глубины есть дополнительная камера. Кстати, на iPhone 11 Pro можно делать портреты не только с зумом, но и на основную камеру.

Первый портрет на солнце, снятый с одного расстояния, поэтому немного разная крупность. Текстура кожи на обоих снимках на высоком уровне, чуть более чёткая борода на iPhone 11 Pro, отчасти из-за крупности, но на пикселе есть странный шум под очками. Хуже того, на Pixel, на мой взгляд, алгоритм хуже вырезал волосы, правда причёска у меня сложная.

Второй портрет в довольно тёмном баре. На Pixel 3 Боря получился более контрастный, тени красивее отрисовались, сам снимок смотрится объёмнее. Но это легко подтягивается в редакторе. Уровень шума примерно одинаковый, но разный рисунок. Но всё-таки по общим ощущениям, портрет на Pixel кажется лучше.

Третий портрет — неодушевлённый предмет. Тут лучше справился iPhone: и по общим ощущениям, и меньше промахнулся с вырезанием.

Ну и куда без портретов котов. iPhone 11 Pro качественно вырезал и размыл — ни одного промаха, но на Pixel 3 более контрастная картинка и шерсть рыжего Альфа детальнее. Однако промахи по вырезу — сверху на ухе, внизу на шее и на усах имеются. В общем, снимок на Pixel мне нравится больше, но тут будет честнее дать по баллу каждому.

Если отмести результат, то есть снимки — в iPhone 11 Pro и Pixel 3 применяются различные принципы фотографирования не только сами алгоритмы постобработки. Тут я скорее говорю о пользовательском опыте.

На iPhone используется простая концепция — вы всегда знаете и видите, что у вас получится, когда вы фотографируете. На экране отображается конечный снимок, а все алгоритмы постобработки в режимах портрет, Smart HDR (хотя это скорее не режим), ночном. Все это отрабатывается в реальном времени и вы видите практически финальное изображение.

Снимая на Pixel 3 вы не знаете, что получится в итоге. Чаще всего результат радует, но это как волшебный чёрный ящик: вы сняли портрет не видя эффекта размытого заднего плана и только через некоторое время, когда магия Google сработает, вы сможете оценить результат. И почти всегда он сильно отличается от того, что вы видели на дисплее.

Хорошо это или плохо — решать вам. Просто перед нами совершенно разные подходы. Я в этом смысле больше ценю, то как это делает Apple — я хочу видеть, что снимаю, а не пытаться предугадать!

Ну а напоследок портрет на фронтальную камеру. С обтравливанием лучше справился iPhone 11 Pro, у Pixel большие проблемы с волосами, кроме того врубилась какая-то странная бьютификация, которую я не просил: она немного разгладила кожу. Балл новой фронталке iPhone 11 Pro и общий счёт после портретов — 5:4.

Теперь наверное один из самых интересных тестов: HDR+ от Google, о котором подробно рассказал Боря в отдельном материале, и Smart HDR у iPhone 11 Pro, который прокачали семантическим рендерингом.  Объясню поподробнее. На самом деле это прокачанная версия — тут также делается 4 недоэкспонированных снимка, один правильно проэкспонированный и один переэкспонированный, то есть пересвеченный. Затем производится семантический разбор: кадр разбивается на объекты (небо, дом, человек и так далее) и обрабатывается по отдельности.

Я, честно говоря, еле сделал этот кадр — яркое солнце било прямо в глаза, а оба смартфона смогли всё вытянуть. Небо получилось отлично у обоих, но по уровню шума — видно зерно на плакате на Pixel 3, в тенях также всё очень шумное. На iPhone — шума заметно меньше.

В закатном солнце результат похожи. Текстура земли превращается в кашу на Pixel, на iPhone 11 Pro чуть лучше различима.

Далее снимки в помещениях с плохим  освещением — наверное, один из самых важных сценариев.

Первый снимок сделан в метро. Снимки практически идентичные, но я смог найти несколько отличий. Например, у Pixel чуть более мягкие переходы от света лампочек, по шуму примерное равенство, по детализации тоже.

Второй снимок в баре, Митя получился светлее на iPhone 11 Pro. Также чуть лучше видны названия и лицо получилось лучше. Здесь я специально отключил ночной режим, который электроника включила автоматически. Все равно получилось чуть лучше, чем на Pixel 3.

Ну и напоследок я оставил самое вкусное — ночной режим.

Ночь в Москве, хоть и не самая тёмная, но всё же… По общему настроению и гамме снимок лучше всего смотрится на Pixel 3. Но на iPhone видны плитки — чуть лучше детализация изображения. Обоим аппаратам я дал по одному баллу, потому что снимки почти одинаковые.

Неоновая вывеска вместе с кафе получилась одинаково красиво, хоть и чуть светлее на iPhone. Тоже не смог отдать кому-то предпочтение.

Более сложный снимок, почти полная темнота. Тут Pixel 3 лучше вытащил детали в тени, например колеса велосипедов. Бал ему.

На следующем кадре отлично получилось ночное небо. Но на Pixel 3 есть засветка в оранжевом окне, кроме того на iPhone 11 Pro лучше детализация и видны отдельные кирпичики.

Последнее — ночной режим с человеком в кадре. Конечно желательно, чтобы он не двигался. Общий план близкий, но если присмотреться блики от фонаря на Pixel 3 немного разошлись в разные стороны. Объектив был чист. А вот с общей детализацией лучше отработал iPhone 11 Pro — это хорошо видно на кроссовках.

Что ж, по моим подсчетам — 12:9 в пользу iPhone. Если честно, я до последнего верил, что Pixel 3 уделает iPhone 11 Pro. Но результат чуть иной, хотя и на самом деле очень близкий: почти во всех сценариях разница незначительная!

Конечно мы сравнили актуальный iPhone 11 Pro с прошлогодним Pixel 3, а уже 15 октября будет представлен новый Pixel 4 с несколькими камерами. Скорее всего к тому моменту у iPhone 11 Pro появится новые режим Deep Fusion. Вполне логично, что мы повторим сравнение этих смартфонов. Не сомневайтесь!

День рождения Google — 21 год

Наконец-то Google может позволить себе крепкий алкоголь, ведь ему исполнился 21 год. В честь этого кстати все устройства Made by Google можно купить с 21% скидкой! Промокод на скидку B-GOOGLE21. Правда, работает он в Великобритании.

Nike Adapt Huarache — умные кроссовки, которые хочется

У Nike появилась модель самозавязывающихся Adapt, но до этого пары выглядели немножечко странно. И вот появилась модель Huarache — новая версия сникерсов из 1991 года, у которой теперь самозавязывающиеся шнурки.

Эта модель точно будет дешевле, чем Nike Mag из Назад в Будущее. В 2016 году Nike выпустил 89 пар этих кроссовок за 75000 долларов каждая. Adapt BB и Adapt Huarache обойдутся в 350 долларов. Для сравнения их же HyperAdapt 1.0 стоил 720 долларов.

Apple покажет фильмы в кинотеатрах

Недолго музыка играла, недолго Спилберг танцевал… Компания Apple будет выпускать полнометражные фильмы в прокат прежде чем выложить их в Apple TV+.

В битве Голливуда и стриминговых платформ Apple занял позицию где-то посередине: все полнометражки будут идти в кино и лишь после этого появятся в стриминговом сервисе купертиновцев. Говорят, что в 2020 году мы увидим большой фильм от Софии Копполы с Рашидой Джонс и Биллом Мюреем!

Многие считают камеру Google Pixel лучшей. В плане железа она мало чем отличается от конкурентов — главное в софте. Но обработка изображения ИИ есть и у других производителей. Тем не менее Pixel (даже «бюджетный» 3a) на одном месте всех возил. Давайте разберемся, в чем уникальность обработки фото на Google Pixel, и как поисковик стал королем мобильной фотографии.

В современных мобильных камерах алгоритмы обработки важнее, чем железо. Но когда начинаешь разбираться, понимаешь, что камеру Google конструировали гребаные гении. Сегодня расскажу, как это устроено.

Технология HDR+

Многие из вас помнят, что первый телефон, на котором появился знаменитый режим HDR+ был Nexus 5. Но разрабатывался алгоритм не для него и даже не для смартфонов, а для футуристичных Google Glass.

Всё началось в 2011 году, когда глава экспериментального подразделения Google X Себастьян Трун (Sebastian Thrun) обратил внимание, что большую матрицу и оптику в очки не поставить, а снимать как-то надо. Поэтому, единственным выходом оставалось, улучшить картинку софтом. Для решения этой задачи был приглашен профессор Стэнфордского Университета, эксперт в области вычислительной фотографии — Марк Левой.

Именно он в 2011 году выпустил приложение SynthCam для iPhone 4, которое симулировало размытие фона как в зеркалках. Так себе симулировало будем честны. Марк Левой возглавил команду разработчиков, которые назвали себя Gcam.

При разработке алгоритма было сразу заложено 4 принципа, которые сильно повлияли на развитие вычислительной фотографии:

• Быть мгновенным 
  На обработку снимка не должно тратиться более нескольких секунд и все вычисления должны проходить локально на устройстве, а не в облаке, например. А значит, алгоритм должен быть простым для вычисления.
• Быть автоматическим
  Никаких ручных настроек. Пользователь должен получать качественные снимки не задумываясь о тонкостях алгоритма.
• Быть естественным
  Эффект не должен делать изображение сюрреалистичным, мультяшным. А ночь не должна выглядеть как плохая дневная фотография. Кстати, этот принцип и сейчас заметен: например, Pixel далеко не всегда делает такой ядреный HDR, как конкуренты, хотя мог бы.
• Быть консервативным
  HDR+ должен рассматриваться как режим по умолчанию, не содержать артефактов, а результат должен быть, как минимум, не хуже чем обычная фотография.

Эти принципы побудили команду Gcam подойти к работе нестандартно, потому как все остальные решения того времени этим принципам не отвечали.

Обычно в мобильной фотографии динамический диапазон расширяют при помощи техники брекетинга (вилки). Делается несколько снимков: один нормальной яркости, один светлее, один темнее. А потом они склеиваются: тени берутся из светлого снимка, света с темного, остальное с обычного. За счёт этого мы получаем расширение ДД, то есть HDR. Сейчас это умеет любой смартфон.

Но у такого метода есть и недостатки. Во-первых, снимки с разной освещенностью и выдержкой сложно склеить между собой, и поэтому возможны артефакты, типа гоустинга. Во-вторых, совсем не решается проблема с шумами, поэтому из-за агрессивного шумоподавления теряются детали и возникает эффект мокрой губки. В-третьих, при таком методе можно сильно переборщить с компрессией теней и света и на выходе получить неестественную, мультяшную картинку. Все эти проблемы, в той или иной степени, по-прежнему встречаются в смартфонах.

Так что же придумали инженеры Gcam? Они решили, что эффективнее будет склеивать между собой снимки не с разной экспозицией, а с одинаковой, причем чуть недоэкспонированные, т.е. темные или недосвеченные. Звучит нелогично! Чем вообще может помочь склейка темных снимков? А откуда взять информацию в тенях? А как это вообще поможет избавиться от шума? И вот тут начинается магия Google.

Начнём с того, что в этом случае, снимки не склеиваются, а как бы накладываются друг на друга, усредняя информацию о цвете при каждом наложении. На этом не всё. Из-за того что снимки делаются с более короткой выдержкой, они получаются чётче, объекты меньше размываются.

Потом, так как снимки одинаковые по яркости и размытию их становится существенно проще склеивать. И, конечно, с короткой выдержкой снимки делаются быстрее, а значит можно сохранить больше кадров за одно и то же время. За счёт усреднения значения каждого пикселя с разных фото, существенно уменьшается шум, но детали сохраняются.

Плюс ко всему, увеличивается глубина цвета с 10 до 14 бит. И это даёт возможность искусственно высветить тени без видимых артефактов! Звучит всё гениально и просто, но на самом деле алгоритм чрезвычайно сложный, потому как он должен работать во всех условиях при съёмке с рук, не сажать мгновенно батарейку и не выдавать артефактов.

Как работает алгоритм 

Когда вы запускаете приложение камера, оно начинает непрерывно снимать, загружая в циклический буфер от 15 до 30 фотографий, в зависимости от уровня освещённости. В момент, когда вы делаете снимок, запись прекращается и берутся последние кадры из буфера. Из первых трёх кадров выбирается самый резкий, а потом на него накладываются другие снимки исключая фрагменты которые не изменились. Каждый снимок сравнивается покадрово и все измененные области отсекаются. После получения склеенного кадра в дело вступают всякие улучшатели, убираются шумы, аберрации, дымка, виньетка, повышается контраст, резкость и прочее. В этот момент происходит автобаланс белого, дебаеризация, устранение шумов, тональная компрессия, устранение хроматических аберраций, виньетирования, дымки, сглаживание полутонов, гамма коррекция, повышение контрастности, четкости и насыщенности. И это всё автоматически!

При этом для опытных фотографов и просто любителей повыкручивать фотографии в Adobe Lightroom в Pixel 3 появилась возможность сохранять RAW-файлы, полученные в результате объединения нескольких кадров. Они одновременно сочетают в себе все преимущества вычислительной фотографии и при этом остаётся полная свобода творчества.

Конечно, Google не единственный кто умеет в вычислительную фотографию. Вместе с iPhone XS Apple предоставила свою версию магического алгоритма. Со слов Фила Шиллера, технология работает следующим образом. В циклическом буфере вращается 4 кадра с нормальной экспозицией и 4 промежуточных кадра с пониженной экспозицией, а также 1 светлый кадр с более длинной выдержкой. Далее нейронный движок анализирует все кадры и склеивает удачные фрагменты между собой.

Принцип работы похож на вариант реализации от Google, но за счёт того, что нужно склеить снимки с 3 разными экспозициями, такой алгоритм гораздо сложнее реализовать на практике, не получив артефакты типа гоустинга и агрессивной компрессии цвета. Более того, такой метод теоретически должен быть более затратен для вычисления.  Но стоит отдать должное Apple, потому, что они не только успешно это реализовали, но добились вычисления в реальном времени, за счёт плотной интеграции со своим железом. То есть на экране iPhone в камере вы видите то, что получится на фотографии, Google таким похвастаться не может.

Но Google может другое: они реализовали подобный алгоритм и в при съёмке видео вплоть до 30 кадров в секунду, что вообще взрывает мозг!

via GIPHY

Итого, преимущества алгоритма от команды Gcam:

• Значительно уменьшаются шумы, практически без потери детализации.
• Почти полное отсутствие артефактов.
• Естественная цветопередача.
• Чёткая краника даже при условии быстрого движения в кадре.

Но у такого подхода, конечно есть недостатки. Во-первых, во время съёмки непонятно, каким получится итоговый снимок, потому как в видоискателе отображается картинка прямиком с матрицы, без особых улучшений. А во-вторых, чтобы посмотреть результат придётся немного подождать пока снимок обработается. И иногда это прям раздражает. Но итоговый результат того стоит!

А если вам интересно поглубже изучить как работает алгоритм полное описание его работы, вплоть до математических формул, есть в свободном доступе на сайте Стэндфордского университета.

За подготовку материала благодарим Антона Евстратенко.

Авторитетное издание изучило отчеты World Bank и StatCounter за 2019 год и создало интерактивную карту, на которой можно увидеть, какие операционные системы предпочитают жители различных регионов планеты.

Отдельно в исследовании Bloomberg упоминается Макао (административный район КНР), где соотношение сил выглядит следующим образом: 65% у «яблочной» ОС против 34% у Зеленого робота.

Отметим, что белые кольца на изображении символизируют области, где количество смартфонов меньше, чем населения.

Источник: Bloomberg

В этом году Lenovo активно пополняла ассортимент линейки Smart Dock — гаджетов для смарт-дома в необычном форм-факторе. Одни из них похожи на колонки с экранами, другие — на планшеты с док-станциями.

В новом репортаже от Валерия Истишева из Берлина можно узнать про Smart Display 7, Smart Tab M8 и Yoga Smart Tab.