Магия Ночного Режима: Как Pixel изменил все

Почему и как Google Camera снимает так классно ночью? Пытаемся разобраться!
vedensky 6 октября 2019 в 07:50

В феврале 2016 года программист из команды Google Dream Флориан Кайнц делает потрясающий ночной снимок моста Золотые ворота на свой верный зеркальный фотоаппарат и демонстрирует его своим коллегам.

— Красота, браво! — восхищаются коллеги из Daydream. И только один дерзкий паренёк из команды Gcam говорит: «А почему бы тебе не сделать такую на фотографию на телефон?»

Флориан воспринимает этот комментарий как вызов! Он немедленно открывает ноутбук и, строка за строкой, начинает писать свою версию приложения Google Camera, в которой можно будет вручную задирать ISO и снимать серию аж до 64 кадров с 4 секундной выдержкой за раз!

Сделав это, он хватает в руки Nexus 6P, свой верный штатив и мчится навстречу мраку ночной калифорнии. Вернувшись домой он вручную обрабатывает полученные серии снимков и добивается феноменального результата.

Это триумф! Коллеги ликуют!

И только из тёмного угла, освещенного одной лишь свечой, содрогая пламя, звучит знаменитый баритон главы подразделения Gcam Марка Левоя: «Это всё фигня! Я тут приложение написал SeeInTheDark называется, оно позволяет делать такие же снимки но без штатива и без всяких мучений с настройками! Давайте-ка добавим такой режим в Google Камеру!

Вероятно, именно так зародилась идея сделать ночной режим в камере Pixel 3. Хоте это был не первый смартфон с такой опцией. Google своей разработкой задали новый стандарт ночной мобильной фотографии. И сейчас это есть почти у всех от Xiaomi до даже iPhone. Так давайте же разберёмся, что такого революционного в технологии Night Sight!

Тем интереснее, что последние слухи про Pixel 4 и утечки приложения Google Camera 7.0 намекают что в новой камере будет серьезный упор на ночную съёмку! Это второй материал из серии про магию Google, подготовленный нами совместно с Антоном Евстратенко (спасибо, бро!).

Сложности

C одной стороны идея ночного режима в камере Pixel лежала на поверхности. Что тут сложного? Берёшь и без того классный алгоритм HDR+, про который мы рассказывали в одном из недавних материалов, да увеличиваешь выдержку каждого снимка. Вот тебе и ночная фотография!

Но, как вы помните по прошлой статье — ключевой особенностью и вообще инновационной идеей алгоритма было то, что он склеивает недосвеченные фотографии с короткой выдержкой. Поэтому если увеличить выдержку, во-первых сложно будет что-то склеить, ведь пройдёт слишком много времени между кадрами. Во-вторых, нужно чтобы это как-то работало при съёмке с рук. Поэтому перед инженерами Google встали две ключевые проблемы:

  1. Как бы сделать так, чтобы на сенсор поступало больше света, но при этом чтобы фотографии не смазывались.
  2. Как это всё потом склеить?

Смазывание

Начнём с первой проблемы. Очевидно, что стандартного замера выдержки исходя из яркости сцены в данном случае будет недостаточно. Ведь нам нужно получить сцену ярче, чем мы видим. Если мы вообще что-то видим!!! А потом, ещё и не смазать всё к чертям! Поэтому ребята из Google сделали абсолютно гениальную вещь! Они стали “измерять движение” в кадре на основании оптического потока сцены. Согласен — звучит как-то непонятно и слишком сложно. Давайте, объясню попроще.

Условно говоря, камера измеряет насколько сильно движутся объекты в кадре, определяя насколько сдвинулись пиксели в сравнении с предыдущими кадрами, если сильно — берётся выдержка покороче, если движения в кадре нет — длиннее.

При этом ещё учитывается тряска рук: используются данные с акселерометра и гироскопа, чем больше тряска тем — короче выдержка.

Получив данные о движении в кадре и тряске, алгоритм определяет оптимальную выдержку.  И это можно проверить в приложении Google Camera.

При съёмке с рук максимальная выдержка ограничивается 1/15 секунды. А если камера неподвижна, например стоит на штативе, то выдержка может увеличится аж до 1 секунды. Поэтому, дружище, возьми свой тремор под контроль — чем меньше тряски — тем выше качество!

Отлично! За счёт более длинной выдержки мы получаем больше света, из-за, чего ещё и упало —количество шумов. При этом объекты в кадре не размыты! Проблема решена.

Склеивание

Теперь оставалось решить проблему со склейкой полученных кадров. Очевидно, что чем больше выдержка, тем больше шансов, что кадры будут отличаться, а значит придется отбрасывать больше неудачных участков со вспомогательных кадров.

Поэтому, при съёмке с рук камера делает целых 15 снимков и в обработку попадают все 15, а не 7-9 как в обычном HDR+, что даёт больше материала для склейки.

При этом, опять же, если камера неподвижна, то делается только 6 снимков, но большей выдержкой.

Конечно, такой подход не идеальный и на подвижных объектах в кадре всегда можно заметь больше шума. Но это мелочи можно заметить, только если уже совсем вглядываться в каждый пиксель.

Баланс белого

На этом проблемы с ночным режимом не закончились. Человеческий глаз, а точнее мозг, очень хорошо справляется с определением баланса белого, почти в любых условиях освещения мы видим цвет объекта примерно одинаково. Это называется цветопостоянство. Джентльмены в солнцезащитных очках в ночных клубах подтвердят.

Так вот, у современных камер с этим дела обстоят сильно хуже. И если при хорошем освещении камеры неплохо справляются, то ночью определить, что снег желтый или на него просто светит желтый фонарь для камеры бывает сложновато. Впрочем и люди иногда тоже ошибаются в такой ситуации. И здесь команде Gcam на помощь пришли нейросети и безумное упорство инженеров.

Они сделали тысячи, возможно даже десятки тысяч снимков на телефоны Pixel в разных сценах и условиях освещенности. И потом вручную выставили правильный баланс белого для каждого снимка на хорошо откалиброванных мониторах.

На основе этих данных они обучили нейросеть правильно определять баланс белого уже без помощи человека. В итоге им удалось сделать алгоритм который на 20% меньше ошибается и работает до 3000 раз быстрее, чем предыдущий!

При этом алгоритм всё время учится становиться лучше, и на Pixel 4, исходя из планов Google он должен стать основным во всех режимах.

И раз уж мы заговорили про Pixel 4 и слухи.

Судя по утекшим промо-роликам, а также приложению Google Camera 7.0, в новом смартфоне нас ждёт более прокачанный, более мощный, ну вообще мозговзрывающий Night Sight 2.0 c поддержкой астро-фотографии! О чём мечтал наш друг Флориан с первого дня!

Основное нововведение будет видимо в том, что смартфон еще лучше будет подстраивать выдержку под тряску рук или штатив. Я потестировал программу и не могу сказать, что результат шокировал, но звезды видно. Как и шумы, но думаю дело в нефинальной прошивке. Выпускать в таком виде явно не будут. Но пока об этом рано судить, давайте подождем официальной презентации Google 15 октября и увидим всё своими глазами.

Ещё раз благодарим Антона Евстратенко за помощь в создании материала.

iPhone 11 Pro против Pixel 3: Фотобитва

Вычислительная фотография от Google против обновленного смартфона из Купертино!
Валерий Истишев 4 октября 2019 в 11:33

Наконец настал момент, когда можно сравнить камеру нового iPhone 11 Pro с уже не новым, но всё ещё суперкрутым Pixel 3 от Google. Он снимает как чёрт и многие считают его лучшей камерой среди смартфонов.

Кто-то наверняка скажет, что Pixel 3 — не лучший. Есть же Samsung Galaxy Note 10 или HUAWEI Mate 30 Pro и P30 Pro со своим ночным режимом.  Но я скажу так — действительно смартфон Samsung в чём-то лучше, в чём-то HUAWEI, но алгоритмы Google порой творят настоящие чудеса. И мне интересно выяснить переплюнул ли их iPhone 11 Pro.

И сразу переходим к делу. Мы будем сравнивать фотографии в разных сценариях: день, ночь, помещение, HDR, портреты. Но мы должны учесть, что у Pixel 3 всего одна камера — широкоугольная, а у iPhone 11 Pro целых три, поэтому будем снимать только на основную. И мы не будем говорить о видео, сегодня — фотобитва.

Начнем со сравнения уровня детализации.

Первый снимок: гора панд, искусственное освещение, IKEA. По балансу белого практически идентично — iPhone чуть теплее. По детализации фото практически одинаковые, но Pixel чуть лучше.

Второй снимок — чёткость листьев как будто чуть лучше на iPhone, но разница минимальна. Разве что на самом светлом участке iPhone смог вытянуть чуть больше облаков.

Третий снимок — парковка. Опять чуть теплее гамма на iPhone 11 Pro, на удалённых объектах виден шум и шумодав на обоих снимках. Тут мы смотрим на детализацию. По номеру на машине — выигрывает Pixel 3.

Всё очень близко, победителя тут выявить трудно — приходится докапываться до самых мелочей. По итогам 2-1 в пользу Pixel 3.

  • iPhone 11 Pro
  • Pixel 3
  • iPhone 11 Pro - Крупно область с пандами и надписями
  • Pixel 3 - Крупно область с пандами и надписями
  • iPhone 11 Pro - Крупно нижний левый угол
  • Pixel 3 - Крупно нижний левый угол
  • iPhone 11 Pro - Кроп
  • Pixel 3 - Кроп
  • iPhone 11 Pro
  • Pixel 3
  • iPhone 11 Pro - Кроп
  • Pixel 3 - Кроп

Следующее сравнение — портреты, причём в разных условиях. Стоит отметить, что Google тут полагается только на одну камеру и на машинное обучение, в то время как у iPhone для измерения глубины есть дополнительная камера. Кстати, на iPhone 11 Pro можно делать портреты не только с зумом, но и на основную камеру.

Первый портрет на солнце, снятый с одного расстояния, поэтому немного разная крупность. Текстура кожи на обоих снимках на высоком уровне, чуть более чёткая борода на iPhone 11 Pro, отчасти из-за крупности, но на пикселе есть странный шум под очками. Хуже того, на Pixel, на мой взгляд, алгоритм хуже вырезал волосы, правда причёска у меня сложная.

Второй портрет в довольно тёмном баре. На Pixel 3 Боря получился более контрастный, тени красивее отрисовались, сам снимок смотрится объёмнее. Но это легко подтягивается в редакторе. Уровень шума примерно одинаковый, но разный рисунок. Но всё-таки по общим ощущениям, портрет на Pixel кажется лучше.

Третий портрет — неодушевлённый предмет. Тут лучше справился iPhone: и по общим ощущениям, и меньше промахнулся с вырезанием.

Ну и куда без портретов котов. iPhone 11 Pro качественно вырезал и размыл — ни одного промаха, но на Pixel 3 более контрастная картинка и шерсть рыжего Альфа детальнее. Однако промахи по вырезу — сверху на ухе, внизу на шее и на усах имеются. В общем, снимок на Pixel мне нравится больше, но тут будет честнее дать по баллу каждому.

  • iPhone 11 Pro - Портрет на широкоугольную камеру
  • Pixel 3 - Портрет на широкоугольную камеру
  • iPhone 11 Pro - Портрет в помещении
  • Pixel 3 - Портрет в помещении
  • iPhone 11 Pro - Портрет
  • Pixel 3 - Портрет
  • iPhone 11 Pro - Портрет котов
  • Pixel 3 - Портрет котов

Если отмести результат, то есть снимки — в iPhone 11 Pro и Pixel 3 применяются различные принципы фотографирования не только сами алгоритмы постобработки. Тут я скорее говорю о пользовательском опыте.

На iPhone используется простая концепция — вы всегда знаете и видите, что у вас получится, когда вы фотографируете. На экране отображается конечный снимок, а все алгоритмы постобработки в режимах портрет, Smart HDR (хотя это скорее не режим), ночном. Все это отрабатывается в реальном времени и вы видите практически финальное изображение.

Снимая на Pixel 3 вы не знаете, что получится в итоге. Чаще всего результат радует, но это как волшебный чёрный ящик: вы сняли портрет не видя эффекта размытого заднего плана и только через некоторое время, когда магия Google сработает, вы сможете оценить результат. И почти всегда он сильно отличается от того, что вы видели на дисплее.

Хорошо это или плохо — решать вам. Просто перед нами совершенно разные подходы. Я в этом смысле больше ценю, то как это делает Apple — я хочу видеть, что снимаю, а не пытаться предугадать!

  • iPhone 11 Pro - Портрет на селфи-камеру
  • Pixel 3 - Портрет на селфи-камеру

Ну а напоследок портрет на фронтальную камеру. С обтравливанием лучше справился iPhone 11 Pro, у Pixel большие проблемы с волосами, кроме того врубилась какая-то странная бьютификация, которую я не просил: она немного разгладила кожу. Балл новой фронталке iPhone 11 Pro и общий счёт после портретов — 5:4.

  • iPhone 11 Pro - Smart HDR
  • Pixel 3 - HDR+
  • iPhone 11 Pro - Smart HDR (центральная часть)
  • Pixel 3 - HDR+ (центральная часть)
  • iPhone 11 Pro - Smart HDR
  • Pixel 3 - HDR+
  • iPhone 11 Pro - Smart HDR (центральная часть)
  • Pixel 3 - HDR+ (центральная часть)

Теперь наверное один из самых интересных тестов: HDR+ от Google, о котором подробно рассказал Боря в отдельном материале, и Smart HDR у iPhone 11 Pro, который прокачали семантическим рендерингом.  Объясню поподробнее. На самом деле это прокачанная версия — тут также делается 4 недоэкспонированных снимка, один правильно проэкспонированный и один переэкспонированный, то есть пересвеченный. Затем производится семантический разбор: кадр разбивается на объекты (небо, дом, человек и так далее) и обрабатывается по отдельности.

Я, честно говоря, еле сделал этот кадр — яркое солнце било прямо в глаза, а оба смартфона смогли всё вытянуть. Небо получилось отлично у обоих, но по уровню шума — видно зерно на плакате на Pixel 3, в тенях также всё очень шумное. На iPhone — шума заметно меньше.

В закатном солнце результат похожи. Текстура земли превращается в кашу на Pixel, на iPhone 11 Pro чуть лучше различима.

  • iPhone 11 Pro
  • Pixel 3
  • iPhone 11 Pro - Кроп
  • Pixel 3 - Кроп
  • iPhone 11 Pro
  • Pixel 3
  • Pixel 3 - Кроп
  • iPhone 11 Pro - Кроп
  • iPhone 11 Pro - Кроп
  • Pixel 3 - Кроп

 

Далее снимки в помещениях с плохим  освещением — наверное, один из самых важных сценариев.

Первый снимок сделан в метро. Снимки практически идентичные, но я смог найти несколько отличий. Например, у Pixel чуть более мягкие переходы от света лампочек, по шуму примерное равенство, по детализации тоже.

Второй снимок в баре, Митя получился светлее на iPhone 11 Pro. Также чуть лучше видны названия и лицо получилось лучше. Здесь я специально отключил ночной режим, который электроника включила автоматически. Все равно получилось чуть лучше, чем на Pixel 3.

  • iPhone 11 Pro - Ночной режим
  • Pixel 3
  • iPhone 11 Pro - Ночной режим
  • Pixel 3
  • iPhone 11 Pro - Ночной режим Кроп
  • Pixel 3 - Кроп
  • iPhone 11 Pro - Ночной режим
  • Pixel 3
  • iPhone 11 Pro - Ночной режим
  • Pixel 3
  • iPhone 11 Pro - Ночной режим Кроп
  • Pixel 3 Кроп
  • iPhone 11 Pro - Ночной режим
  • Pixel 3

Ну и напоследок я оставил самое вкусное — ночной режим.

Ночь в Москве, хоть и не самая тёмная, но всё же… По общему настроению и гамме снимок лучше всего смотрится на Pixel 3. Но на iPhone видны плитки — чуть лучше детализация изображения. Обоим аппаратам я дал по одному баллу, потому что снимки почти одинаковые.

Неоновая вывеска вместе с кафе получилась одинаково красиво, хоть и чуть светлее на iPhone. Тоже не смог отдать кому-то предпочтение.

Более сложный снимок, почти полная темнота. Тут Pixel 3 лучше вытащил детали в тени, например колеса велосипедов. Бал ему.

На следующем кадре отлично получилось ночное небо. Но на Pixel 3 есть засветка в оранжевом окне, кроме того на iPhone 11 Pro лучше детализация и видны отдельные кирпичики.

Последнее — ночной режим с человеком в кадре. Конечно желательно, чтобы он не двигался. Общий план близкий, но если присмотреться блики от фонаря на Pixel 3 немного разошлись в разные стороны. Объектив был чист. А вот с общей детализацией лучше отработал iPhone 11 Pro — это хорошо видно на кроссовках.

Что ж, по моим подсчетам — 12:9 в пользу iPhone. Если честно, я до последнего верил, что Pixel 3 уделает iPhone 11 Pro. Но результат чуть иной, хотя и на самом деле очень близкий: почти во всех сценариях разница незначительная!

Конечно мы сравнили актуальный iPhone 11 Pro с прошлогодним Pixel 3, а уже 15 октября будет представлен новый Pixel 4 с несколькими камерами. Скорее всего к тому моменту у iPhone 11 Pro появится новые режим Deep Fusion. Вполне логично, что мы повторим сравнение этих смартфонов. Не сомневайтесь!

21 год Google, Apple TV+ в кино и крутейшие Nike — Гуд Монинг #10

Самые яркие и интересные новости прошедшего дня
aka_opex 28 сентября 2019 в 08:00

День рождения Google — 21 год

Наконец-то Google может позволить себе крепкий алкоголь, ведь ему исполнился 21 год. В честь этого кстати все устройства Made by Google можно купить с 21% скидкой! Промокод на скидку B-GOOGLE21. Правда, работает он в Великобритании.

Nike Adapt Huarache — умные кроссовки, которые хочется

У Nike появилась модель самозавязывающихся Adapt, но до этого пары выглядели немножечко странно. И вот появилась модель Huarache — новая версия сникерсов из 1991 года, у которой теперь самозавязывающиеся шнурки.

Эта модель точно будет дешевле, чем Nike Mag из Назад в Будущее. В 2016 году Nike выпустил 89 пар этих кроссовок за 75000 долларов каждая. Adapt BB и Adapt Huarache обойдутся в 350 долларов. Для сравнения их же HyperAdapt 1.0 стоил 720 долларов.

Apple покажет фильмы в кинотеатрах

Недолго музыка играла, недолго Спилберг танцевал… Компания Apple будет выпускать полнометражные фильмы в прокат прежде чем выложить их в Apple TV+.

В битве Голливуда и стриминговых платформ Apple занял позицию где-то посередине: все полнометражки будут идти в кино и лишь после этого появятся в стриминговом сервисе купертиновцев. Говорят, что в 2020 году мы увидим большой фильм от Софии Копполы с Рашидой Джонс и Биллом Мюреем!

 

Google Pixel: В чём секрет камеры смартфона от Google?

Многие считают, что Pixel — лучшая мобильная камера. Мы разобрались в чём же МАГИЯ GOOGLE!
vedensky 14 сентября 2019 в 02:18

Многие считают камеру Google Pixel лучшей. В плане железа она мало чем отличается от конкурентов — главное в софте. Но обработка изображения ИИ есть и у других производителей. Тем не менее Pixel (даже «бюджетный» 3a) на одном месте всех возил. Давайте разберемся, в чем уникальность обработки фото на Google Pixel, и как поисковик стал королем мобильной фотографии.

В современных мобильных камерах алгоритмы обработки важнее, чем железо. Но когда начинаешь разбираться, понимаешь, что камеру Google конструировали гребаные гении. Сегодня расскажу, как это устроено.

Технология HDR+

Многие из вас помнят, что первый телефон, на котором появился знаменитый режим HDR+ был Nexus 5. Но разрабатывался алгоритм не для него и даже не для смартфонов, а для футуристичных Google Glass.

Всё началось в 2011 году, когда глава экспериментального подразделения Google X Себастьян Трун (Sebastian Thrun) обратил внимание, что большую матрицу и оптику в очки не поставить, а снимать как-то надо. Поэтому, единственным выходом оставалось, улучшить картинку софтом. Для решения этой задачи был приглашен профессор Стэнфордского Университета, эксперт в области вычислительной фотографии — Марк Левой.

Именно он в 2011 году выпустил приложение SynthCam для iPhone 4, которое симулировало размытие фона как в зеркалках. Так себе симулировало будем честны. Марк Левой возглавил команду разработчиков, которые назвали себя Gcam.

При разработке алгоритма было сразу заложено 4 принципа, которые сильно повлияли на развитие вычислительной фотографии:

  • Быть мгновенным 
    На обработку снимка не должно тратиться более нескольких секунд и все вычисления должны проходить локально на устройстве, а не в облаке, например. А значит, алгоритм должен быть простым для вычисления.
  • Быть автоматическим
    Никаких ручных настроек. Пользователь должен получать качественные снимки не задумываясь о тонкостях алгоритма.
  • Быть естественным
    Эффект не должен делать изображение сюрреалистичным, мультяшным. А ночь не должна выглядеть как плохая дневная фотография. Кстати, этот принцип и сейчас заметен: например, Pixel далеко не всегда делает такой ядреный HDR, как конкуренты, хотя мог бы.
  • Быть консервативным
    HDR+ должен рассматриваться как режим по умолчанию, не содержать артефактов, а результат должен быть, как минимум, не хуже чем обычная фотография.

Эти принципы побудили команду Gcam подойти к работе нестандартно, потому как все остальные решения того времени этим принципам не отвечали.

Обычно в мобильной фотографии динамический диапазон расширяют при помощи техники брекетинга (вилки). Делается несколько снимков: один нормальной яркости, один светлее, один темнее. А потом они склеиваются: тени берутся из светлого снимка, света с темного, остальное с обычного. За счёт этого мы получаем расширение ДД, то есть HDR. Сейчас это умеет любой смартфон.

Но у такого метода есть и недостатки. Во-первых, снимки с разной освещенностью и выдержкой сложно склеить между собой, и поэтому возможны артефакты, типа гоустинга. Во-вторых, совсем не решается проблема с шумами, поэтому из-за агрессивного шумоподавления теряются детали и возникает эффект мокрой губки. В-третьих, при таком методе можно сильно переборщить с компрессией теней и света и на выходе получить неестественную, мультяшную картинку. Все эти проблемы, в той или иной степени, по-прежнему встречаются в смартфонах.

Так что же придумали инженеры Gcam? Они решили, что эффективнее будет склеивать между собой снимки не с разной экспозицией, а с одинаковой, причем чуть недоэкспонированные, т.е. темные или недосвеченные. Звучит нелогично! Чем вообще может помочь склейка темных снимков? А откуда взять информацию в тенях? А как это вообще поможет избавиться от шума? И вот тут начинается магия Google.

Начнём с того, что в этом случае, снимки не склеиваются, а как бы накладываются друг на друга, усредняя информацию о цвете при каждом наложении. На этом не всё. Из-за того что снимки делаются с более короткой выдержкой, они получаются чётче, объекты меньше размываются.

Потом, так как снимки одинаковые по яркости и размытию их становится существенно проще склеивать. И, конечно, с короткой выдержкой снимки делаются быстрее, а значит можно сохранить больше кадров за одно и то же время. За счёт усреднения значения каждого пикселя с разных фото, существенно уменьшается шум, но детали сохраняются.

Плюс ко всему, увеличивается глубина цвета с 10 до 14 бит. И это даёт возможность искусственно высветить тени без видимых артефактов! Звучит всё гениально и просто, но на самом деле алгоритм чрезвычайно сложный, потому как он должен работать во всех условиях при съёмке с рук, не сажать мгновенно батарейку и не выдавать артефактов.

Как работает алгоритм 

Когда вы запускаете приложение камера, оно начинает непрерывно снимать, загружая в циклический буфер от 15 до 30 фотографий, в зависимости от уровня освещённости. В момент, когда вы делаете снимок, запись прекращается и берутся последние кадры из буфера. Из первых трёх кадров выбирается самый резкий, а потом на него накладываются другие снимки исключая фрагменты которые не изменились. Каждый снимок сравнивается покадрово и все измененные области отсекаются. После получения склеенного кадра в дело вступают всякие улучшатели, убираются шумы, аберрации, дымка, виньетка, повышается контраст, резкость и прочее. В этот момент происходит автобаланс белого, дебаеризация, устранение шумов, тональная компрессия, устранение хроматических аберраций, виньетирования, дымки, сглаживание полутонов, гамма коррекция, повышение контрастности, четкости и насыщенности. И это всё автоматически!

При этом для опытных фотографов и просто любителей повыкручивать фотографии в Adobe Lightroom в Pixel 3 появилась возможность сохранять RAW-файлы, полученные в результате объединения нескольких кадров. Они одновременно сочетают в себе все преимущества вычислительной фотографии и при этом остаётся полная свобода творчества.

Конечно, Google не единственный кто умеет в вычислительную фотографию. Вместе с iPhone XS Apple предоставила свою версию магического алгоритма. Со слов Фила Шиллера, технология работает следующим образом. В циклическом буфере вращается 4 кадра с нормальной экспозицией и 4 промежуточных кадра с пониженной экспозицией, а также 1 светлый кадр с более длинной выдержкой. Далее нейронный движок анализирует все кадры и склеивает удачные фрагменты между собой.

Принцип работы похож на вариант реализации от Google, но за счёт того, что нужно склеить снимки с 3 разными экспозициями, такой алгоритм гораздо сложнее реализовать на практике, не получив артефакты типа гоустинга и агрессивной компрессии цвета. Более того, такой метод теоретически должен быть более затратен для вычисления.  Но стоит отдать должное Apple, потому, что они не только успешно это реализовали, но добились вычисления в реальном времени, за счёт плотной интеграции со своим железом. То есть на экране iPhone в камере вы видите то, что получится на фотографии, Google таким похвастаться не может.

Но Google может другое: они реализовали подобный алгоритм и в при съёмке видео вплоть до 30 кадров в секунду, что вообще взрывает мозг!

via GIPHY

Итого, преимущества алгоритма от команды Gcam:

  • Значительно уменьшаются шумы, практически без потери детализации.
  • Почти полное отсутствие артефактов.
  • Естественная цветопередача.
  • Чёткая краника даже при условии быстрого движения в кадре.

Но у такого подхода, конечно есть недостатки. Во-первых, во время съёмки непонятно, каким получится итоговый снимок, потому как в видоискателе отображается картинка прямиком с матрицы, без особых улучшений. А во-вторых, чтобы посмотреть результат придётся немного подождать пока снимок обработается. И иногда это прям раздражает. Но итоговый результат того стоит!

А если вам интересно поглубже изучить как работает алгоритм полное описание его работы, вплоть до математических формул, есть в свободном доступе на сайте Стэндфордского университета.

 

За подготовку материала благодарим Антона Евстратенко.

Где в мире iOS «уделывает» Android?

Есть наглядная инфографика от Bloomberg
Arina 13 сентября 2019 в 06:37

Авторитетное издание изучило отчеты World Bank и StatCounter за 2019 год и создало интерактивную карту, на которой можно увидеть, какие операционные системы предпочитают жители различных регионов планеты.

Страна iOS Android
Япония 70% 30%
Австралия 57% 43%
Швеция 54% 46%
Канада 54% 46%
Дания 53% 47%
США 53% 47%
Швейцария 52% 43%

Отдельно в исследовании Bloomberg упоминается Макао (административный район КНР), где соотношение сил выглядит следующим образом: 65% у «яблочной» ОС против 34% у Зеленого робота.

Отметим, что белые кольца на изображении символизируют области, где количество смартфонов меньше, чем населения.

Источник: Bloomberg

Спикеры Lenovo делают дом «умнее» | IFA 2019

Виртуальный Assistant от Google пришел на смену Alexa от Amazon
News Droid 9 сентября 2019 в 05:18

В этом году Lenovo активно пополняла ассортимент линейки Smart Dock — гаджетов для смарт-дома в необычном форм-факторе. Одни из них похожи на колонки с экранами, другие — на планшеты с док-станциями.

В новом репортаже от Валерия Истишева из Берлина можно узнать про Smart Display 7Smart Tab M8 и Yoga Smart Tab.

Модель от Nokia и «голенький» Зеленый робот | IFA 2019

Борис Веденский поразился быстродействию смартфона HMD Global

В обзоре на канале Droider можно познакомиться со свежеанонсированным смартфоном, который стал частью линейки Android One.

Напомним, что Nokia 7.2 от HMD Global получил 6,3-дюймовый экран с разрешением 2280 х 1080 пикселей, защитное Gorilla Glass 3 от Corning, процессор Snapdragon 660 от Qualcomm, 4/6 ГБ ОЗУ и 64/128 ГБ ПЗУ, аккумулятор 3 500 мАч с быстрой зарядкой 18W, основную 5 Мп + 8 Мп + 48 Мп и фронтальную 20 Мп камеры от Zeiss, NFC, дактилоскоп, 2 слота для SIM и 1 слот для microSD, порт USB Type-C и классический мини-джек, Android Pie.

Nokia 7.2 — тройная камера и NFC | IFA 2019

У смартфона HMD Global на борту «чистый» Зеленый робот
News Droid 6 сентября 2019 в 06:55

Компания, владеющая знаменитым брендом, анонсировала на IFA 2019 мобильное устройство с каплевидным вырезом на дисплее, которое относится к среднему сегменту.

Nokia 7.2 получил 6,3-дюймовый экран с разрешением 2280 х 1080 пикселей, защитное Gorilla Glass 3 от Corning, процессор Snapdragon 660 от Qualcomm, аккумулятор 3 500 мАч с быстрой зарядкой 18W, основную 5 Мп + 8 Мп + 48 Мп и фронтальную 20 Мп камеры от Zeiss, дактилоскоп, 2 слота для SIM и 1 слот для microSD, порт USB Type-C и классический мини-джек, Android Pie из инициативы Android One от Google.

  • Nokia 7.2 от HMD Global
  • Nokia 7.2 от HMD Global
  • Nokia 7.2 от HMD Global

Релиз смартфона HMD Global намечен на сентябрь. Покупателям будут доступны 3 расцветки и 2 версии:

  • 4 ГБ ОЗУ и 64 ГБ ПЗУ;
  • 6 ГБ ОЗУ и 128 ГБ ПЗУ.

Источник: Nokia

Moto One Zoom — «камерофон» с 5 фотомодулями | IFA 2019

Сканер отпечатков пальцев встроен в дисплей

Подразделение компании Lenovo пополнило линейку аппаратов, относящихся к проекту Android One от Google, который гарантирует обновление до одиннадцатого Зеленого робота.

Moto One Zoom обладает корпусом из алюминия с защитой от брызг, защитными стеклами Panda King от Tunghsu Group и Gorilla Glass 3 от Corning, 6,39-дюймовым SuperAMOLED-экраном с разрешением 2340 x 1080 пикселей и интегрированным дактилоскопом, процессором Snapdragon 675 от Qualcomm, 4 ГБ ОЗУ и 128 ГБ ПЗУ, аккумулятором 4 000 мАч с ускоренной зарядкой 15W, основной (48 Мп + 16 Мп + 8 Мп + 5 Мп) и фронтальной 25 Мп камерами, FM-радио, NFC, портом USB Type-C и разъемом 3,5 мм, «чистым» Android Pie.

  • Moto One Zoom от Lenovo и Motorola
  • Moto One Zoom от Lenovo и Motorola
  • Moto One Zoom от Lenovo и Motorola

Продажи смартфона от Motorola стартуют 6 сентября. Стоимость составит 450 долларов.

https://youtu.be/mdXXO2nkQJE

Источник: Motorola

Эти смартфоны получат Android 10

Проверьте, есть ли в списке ваш гаджет
News Droid 4 сентября 2019 в 02:46

Сегодня Google представила стабильную версию операционной системы, которая лишилась десерта в названии. Заодно был рассекречен перечень смартфонов, которым Android 10 достанется в первую очередь. То есть до конца 2019-го или в начале 2020 года.

Компания Модель
Google Pixel 3a и 3a XL
Pixel 3 и 3 XL
Pixel 2 и 2 XL
Pixel и Pixel XL
Samsung Galaxy Note10
Galaxy S10, S10 Plus и S10e
Galaxy S9 и S9 Plus
Galaxy Note 9
OnePlus OnePlus 7 и 7 Pro
OnePlus 6 и 6T
OnePlus 5 и 5T
Huawei P30 и P30 Pro
P20, P20 Lite и P20 Pro
Mate 20, 20X, 20 Pro и 20 Lite
Honor View 20
Nokia Nokia 9 Pureview
Nokia 8.1 и 8 Sirocco
Nokia 7.1 и 7 Plus
Nokia 6.1 и 6.1 Plus
Nokia 5.1 и 5.1 Plus
Nokia 4.2
Nokia 3.1 и 3.2
Nokia 2.1 и 2.2
Nokia 1
Essential Essential Phone
Asus Zenfone 5Z
LG G8 ThinQ и G8s ThinQ
Oppo Reno
Realme 3 Pro
Vivo Nex A и S
Xiaomi Mi 9

Почитать подробнее обо всех нововведениях Зеленого робота можно тут. Скачать и установить обновление ОС на свой страх и риск можно здесь.

Источник: AndroidCentral