Мы запускаем камеру на смартфоне, наводим на объект и видим маленькую иконку внизу. Смартфон понимает — что именно мы снимаем. Вы когда-нибудь задумывались, как это работает?

Беспилотные автомобили спокойно объезжают машины и тормозят перед пешеходами, камеры видеонаблюдения на улицах распознают наши лица, а пылесосы отмечают на карте, где лежат тапочки — всё это не чудеса. Это происходит прямо сейчас. И всё благодаря компьютерному зрению.

Поэтому сегодня разберем, как работает компьютерное зрение, чем оно отличается от человеческого и чем может быть полезно нам, людям?

Для того чтобы хорошо ориентироваться в пространстве человеку нужны глаза, чтобы видеть, мозг, чтобы эту информацию обрабатывать, и интеллект, чтобы понимать, что ты видишь. С компьютерным или, даже вернее сказать, машинным зрением, такая же история. Для того, чтобы компьютер понял, что он видит, нужно пройти 3 этапа:

1. Нам нужно как-то получить изображение
2. Нам нужно его обработать
3. И уже только потом проанализировать

Пройдёмся по всем этапам и проверим, как они реализованы. Сегодня мы будем разбираться, как роботы видят этот мир, и поможет нам в этом робот-пылесос Roborock S6 MaxV, который напичкан современными технологиями компьютерного зрения.

Этап 1. Получение изображения

В начале компьютеру надо что-то увидеть. Для этого нужны разного рода датчики. Насколько много датчиков и насколько они должны быть сложные зависит от задачи. Для простых задач типа детектора движения или распознавания объектов в кадре достаточно простой камеры или даже инфракрасного сенсора.

В нашем пылесосе есть целых две камеры, они находятся спереди. А вот, например, для ориентации в трехмерном пространстве понадобятся дополнительные сенсоры. В частности 3D-сенсор. Тут он тоже есть и расположен сверху. Но что это за сенсор?

LiDAR

Вообще с названиями 3D-сенсоров есть небольшая путаница, одно и тоже часто называют разными словами.

Эта штука сверху — называется LDS или лазерный датчик расстояния, по-английски — Laser Distance Sensor. Подобные датчики вы наверняка могли заметить на крышах беспилотных беспилотных автомобилей. Это не мигалка, это лазерный датчик расстояния, такой же как на роботе пылесосе.

Вот только в мире беспилотников такой сенсор принято называть лидаром — LIDAR — Light Detection and Ranging. Да-да, как в новых iPhone и iPad Pro.

А вот в Android-смартфонах вместо лидаров используется термин ToF-камера: ToF — Time-of-flight.

Но, как ни называй, все эти сенсоры работают по одному принципу. Они испускают свет и замеряет сколько ему понадобится времени, чтобы вернуться обратно. То есть прямо как радар, только вместо радиоволн используется свет.

Есть небольшие нюансы в типах таких сенсоров, но смысл технологии от этого не меняется. Поэтому мне, чисто из-за созвучия с радаром, больше всего нравится название LiDAR, так и будем называть этот сенсор.

Кстати, лидары использует не только в задачах навигации. Благодаря лидарам сейчас происходит настоящая революция в археологии. Археологи сканируют территорию с самолета при помощи лидара, после чего очищают данные ландшафта от деревьев. И это позволяет находить древние города, скрытые от глаз человека!

Также помимо статических лидаров, направленных в одну сторону, бывают вращающиеся лидары, которые позволяют сканировать пространство вокруг себя на 360 градусов. Такие лидары используется в беспилотных автомобилях, ну и в этом роботе-пылесосе.

Еще 8 лет назад такие сенсоры стоили каких-то невероятных денег, под 100 тысяч долларов. А теперь у вас по дому может спокойно ездить маленький беспилотник.

Лидар в пылесосе

Окей, тут лидар используется для построения карты помещения и это не новая история. Такую технологию мы видели еще года 3-4 назад.

Благодаря лидару и построенной карте, пылесос ездит не рандомно как скринсейвер в Windows, стукаясь об углы, а аккуратно проезжая всю площадь (модели без лидаров обычно катаются странно).

Но внутри пылесоса стоит, на секундочку, восьмиядерный Qualcomm Snapdragon 625 (Qualcomm APQ8053), поэтому у него хватает мозгов не только построить карту, но и ориентироваться по ней.

Более того пылесос может хранить в памяти до четырёх карт и распознаёт этажи. Это существенно ускоряет уборку. Потому при переносе с этажа на этаж пылесос это может поять и не тратит время, чтобы построить карту заново.

Также каждую из 4 карт можно поделить на 10 специальных зон. Для которых можно настроить свои параметры уборки: мощность всасывания (до 2500 Па), количество проходов и прочее. А куда-то можно вообще запретить ездить. Можно даже выбирать сухую и влажную уборку для разных зон. Правда для этого не нужно подключать/отключать отдельный резервуар с водой. И всё это стало возможно благодаря лидару.

Тем не менее у технологии есть некоторые недостатки — очень разреженные данные. Пространство сканируется линиями. В больших автомобильных радарах разрешение — от 64 до 128 линий. Плюс ко всему у лидар есть мертвая зона. Если лидар стоит на крыше — то он не видит, что творится в достаточно большом радиусе вокруг него.

Также в роботе-пылесосе лидар тут сканирует пространство всего одним лучом. Поэтому, всё что он видит — это тонкая линия на высоте где-то 9-10 сантиметров от пола. Это позволяет определять где стены и мебель, но он не видит того, что валяется на полу.

Две камеры

Поэтому, чтобы исправить этот недочет лидаров. как в автомобили, так и в пылесосы ставят дополнительные камеры. Тут камеры сразу две, и они обеспечивают стереоскопическое зрение. Да-да, у пылесоса всё как у людей — два глаза.

Две камеры, во-первых, позволяют убрать мертвую зону впереди пылесоса. А во вторых позволяют достаточно точно определять расстояние до валяющихся на полу предметов.

Это позволяет пылесосу обнаруживать предметы размером не менее 5 см в ширину и 3 см в высоту и объезжать их.

Этап 2. Обработка

Итак, мы получили достаточно данных с различных сенсоров. Поэтому переходим ко второму этапу компьютерного зрения — обработке.

Данные с лидара мы получаем в виде трехмерного облака точек, которые фактически не нуждаются в дополнительной обработке.

Как получить стерео с двух камер тоже понятно — высчитывается разница между изображениями снятыми чуть под разным углом и так строится карта глубины. Это несложно.

Но вот совместить данные с разных сенсоров — это нетривиальная задача.

Например, пылесос на полу обнаружил какой-то предмет. Дальше ему нужно понять где именно он находится на карте построенной при помощи лидара. А также нужно предположить какие у него габариты по проекции с одной стороны. То есть нам нужно поместить предмет в некий объёмный куб правильного размера.

Эту задачу можно решить разными способами. Один из способов называется “усеченная пирамида”. Сначала на камере обнаруживаются предметы. Потом эти предметы помещаются в конус, а объем этого конуса вычисляется нейросетью.

Поэтому даже, казалось бы, такая тривиальная задача требует серьёзных вычислений и решается при помощи нейросетей.

А раз мы заговорили про нейросети, значит мы уже немного зашли на 3-й этап компьютерного зрения — анализ.

Этап 3. Анализ

За распознавание, сегментацию и классификацию объектов на изображении в современном мире в основном отвечают нейросети. Мы даже делали подробный ролик о том как это работает, посмотрите.

Если кратко, нейросеть — это такое большое количество уравнений, связанных между собой. Загружая в нейросеть любые данные — ты обязательно получишь какий-то ответ.
Но, например, если постоянно загружать в нейросеть фотографии кошечек, и указать ей, что ответ должен быть — кошка. В какой-то момент, нейросеть перестает ошибаться на обучающей выборке. И тогда ей начинают показывать новые незнакомые изоражения и если на них она тоже безошибочно определяет кошек — нейросеть обучена.

Дальше нейросеть оптимизируется для того, чтобы она стала меньше, быстро работала и не жрала много ресурсов. После этого она готова к использованию.

Что-то похожее происходит с нейронными связями в человеческом мозге. Когда мы чему-то учимся или запоминаем, мы повторяем одно и то же действие несколько раз. Нейронные связи в мозге постепенно укрепляются и потом нам это легко даётся!

Например, в данном пылесосе за работу нейросети отвечает встроенный NPU-модуль. Всё-таки внутри Snapdragon, пылесос может себе такое позволить.

Нейронка предобучена определять различные предметы домашнего обихода: игрушки, тапочки, носки, всякие удлинители, зарядки и даже неожиданности от домашних животных.

Распознавание предметов происходит при помощи гугловской библиотеке Tensorflow. Алгоритм самообучается и умнеет от уборки к уборке.

Практика

В Roborock технология распознавания называется Reactive AI. Мы протестировали насколько она хорошо работает на практике.

Кайфовая штука, что все найденные предметы пылесос отмечает не карте. Поэтому теперь, я не обещаю, но такое возможно, вы всё-таки обнаружите логово пропавших носков.

Проследить за тем, что видит пылесос всегда можно через фирменное приложение или Mi Home от Xiaomi. Можно даже просто кататься по дому управляя пылесосом слать на него голосовые сообщения. Управлять пылесосом можно также через Google Ассистента или Алису. Всё на русском языке.

С недавних пор бренд начал официально продаётся в России, поэтому устройства полностью локализованные.

Внутри кстати стоит батарейка на 5200 мАч, которая способна выдержать до 3 часов уборки.

Итоги

Ребят, ну вы сами всё видели. Правда, стоит обратить внимание, что пока корректное распознавание предметов работает только если запускать пылесос через приложение Roborock. И это нюанс, поскольку оно пока недоступно в Play Market Россия. Но в течение нескольких месяцев оно появится, а пока его можно скачать и установить в виде apk-файла.

Берем современный смартфон. Открываем камеру. Фотографируем. И сразу получаем хороший снимок. Вообще ничего не настраивая, вообще не задумываясь, а справится ли эта камера!

Сырой снимок, до обработки всеми алгоритмами, выглядит довольно серо и уныло. Но мы получаем яркий, насыщенный кадр.

Но как мы дошли до жизни чудесной такой, что современные смартфоны делают такие крутые снимки, как по волшебству? Но это не волшебство…

Сегодня мы поговорим про шесть этапов, которые проходит цифровая фотография прежде, чем превратиться в шедевр в памяти вашего смартфона.

1. Фотоны света

Итак, первый этап. Свет проходит через объектив и попадает на матрицу. И дальше начинается магия… В нашем случае магия будет происходить на флагмане Samsung Galaxy S20 Fan Edition.

Мы знаем, что матрица состоит из миллионов пикселей. В данном случае — 12. Тут тройная камера: широкоугольная, сверхширокоугольная и трехкратный зум.

Но мы сперва поговорим про основную, на которую делается большинство снимков. Итак, каждый пиксель, в свою очередь, состоит из множества деталей, но главная из них — фотодиод. Задача этой штуки улавливать фотоны свет и преобразовывать их в электричество. Как он это делает?

Смотрите, фотодиод состоит из кремния. А кремний — это материал с интересными свойствами. Например, если подать на него ток, он становится чувствительным к электромагнитному излучению в диапазоне от 400 до 1100 нм. А это как раз, перекрывает видимый человеком спектр излучения. Мы видим длину волны от 380 до 740 нм, а кремний от 400 до 1100 нм. Получается, что кремний видит практически то же самое что и мы, плюс немного инфракрасного излучения.

Кстати, о цветах смартфонах: синий, красный, оранжевый, белый, мята, лаванда. Цвета Samsung Galaxy S20 FE создали на основе опроса и включили все самые востребованные фишки.

Но что значит, видит? Поясняю, когда фотоны света попадают на фотодиод: фотон, проникший внутрь кремния выбивает электрон, который проваливается в так называемую, потенциальную яму или ловушку для электронов.

Дальше, подсчитав количество электронов в этой ловушке мы можем понять сколько света попало на пиксель. А значит мы можем определить яркость пикселя. Например, если фотонов попало мало, значит пиксель будет черным, а если много значит белым.

И вот тут есть важный момент. На данном этапе для матрицы важно не растерять ни один фотон света. Чем больше фотонов преобразуется в электроны тем эффективнее работает матрица.

И положа руку на сердце, еще года 3 назад, матрицы были не особо эффективны. Где-то на 10 фотонов вырабатывалось 4-6 электронов. Этот показатель называется квантовой эффективностью и раньше она была 40-60%.

Почему так происходило? В основном, просто потому, что фотоны просто не попадали на фотодиод. Даже несмотря на то что над каждым пикселем уже давно ставят специальные микролинзы, который фокусируют свет в центр пикселя. Всё равно много фотонов переотражалось и терялось или того хуже попадало на соседний пиксель, из-за чего падала эффективности появлялись перекрестные помехи.

Это проблему решила компания Samsung представив технологию ISOCELL Plus. По сути, это технология изолированных ячеек. Они со всех сторон пикселя нарастили тонкие стенки, которые полностью изолируют один пиксель от другого.

Также Samsung увеличили сами пиксели, но не вширь, пиксели даже стали ближе располагаться друг к другу. При этом увеличилась глубина и соответственно его объём, что увеличило емкость потенциальной ямы. Тем самым повышался динамический диапазон.

Всё это позволило увеличить долю работающих фотонов (это называется квантовой эффективностью) пикселя до 120%. Это значит, что один фотон света возбуждает больше одного электрона. Отсюда потрясающая светочувствительность матриц ISOCELL Plus.

К примеру, вот Galaxy S20 Fan Edition, тут стоит на мой взгляд, самый оптимальный сенсор от Samsung — Samsung S5K2LD.

Почему самый оптимальный. Ну смотрите, во-первых разрешение — 12МП? а больше и не надо. Это ISOCELL Plus. И главное, размер пикселя тут 1.8 мкм! А это очень много…

Кстати, другие характеристики у Samsung Galaxy S20 FE тоже в порядке:

• Тут мощный флагманский Exynos 990
• Оптический зум 3x
• Сверхширокоугольный — 12 МП
• Экран Infinity-O, 120 ГЦ, не скругленный!
• UFS 3.1 в конце концов. Даже в S20 только 3.0.
• Живущий аккумулятор на 4500 мА*ч, представляете!

Между прочим, нужно добавить, что его создали на основе опроса и включили все самые востребованные фишки.

2. RAW

Окей, теперь этап номер два. После того как мы собрали электроны в потенциальной яме, нам надо их подсчитать и оцифровать. То есть собрать все сырые данные… и дальше есть два варианта. Либо все сырые данные собираются в файл RAW. Такие файлы любят все профессионалы или просто увлеченные фотографы.

Дело в том, что RAW файлами можно манипулировать как тебе вздумается. Можно поправить баланс белого, вытягивать тени, и даже яркие участки, если повезло. Можно играться с шумоподавлением и прочее.

Раньше такой формат был доступен только на больших цифровых фотиках. А теперь в тех же смартфонах Samsung можно фотографировать в RAW в ручном режиме камеры. Также в этом режиме можно выставлять экспозицию, выдержку, всё как вы любите. И отредактировать в мобильном редакторе.

3. Дебайеризация

Третий этап — дебайеризация. Чо это такое?

Мы помним, что кремний реагирует на достаточно широкий спектр света. Но при этом он не различает цвета. Поэтому, чтобы получить цветное изображение на матрицу накладывается сетка цветовых фильтров. Наиболее распространённый вариант компоновки такой сетки — это RGB фильтр Байера: где на каждый синий и красный сектор приходятся два зеленых. Это кстати интересная особенность восприятия нами изображения.

В итоге, при фильтрации света таким образом, на выходе мы получаем мозаику из красных зеленых и синих пикселей с массой пустых областей.

И вот, для того чтобы восстановить полноценное цветное изображение, нам нужно заполнить отсутствующие данные в каждом канале цвета, например при помощи усреднения значений соседних пикселей, в которых есть данные. Этот процесс называется дебайеризацией.

Раньше этот этап был достаточно прямолинейным. Но после появления технологии ISOCELL и подобных производители научились делать очень маленькие пиксели меньше размером, то есть всего меньше одного микрона. И они стали объединять четыре пикселя, такие матрицы называются TetraCell, или даже девять пикселей — это Nonacell — под одним цветовым фильтром. Как в S20 Ultra например.

Это позволило при недостаточном освещении объединять пиксели и получать один суперпиксель, состоящий из четырёх или девяти пикселей. А днем наоборот можно снимать в полном разрешении используя обратный алгоритм дебайеризации.

В этом смартфоне, все основные модули имеют обычную Quad Bayer структуру, а вот фронтальная камера — TetraCell. Потому можно выбирать какой селфи вы хотите сделать — на 8 или на 32 МП.

4.HDR

И вот мы склеили цветной снимок. Думаете на этом все обработки заканчиваются. Нет? они только начинаются. Дальше, для того чтобы повысить динамический диапазон снимка и снизить шум, в бой вступают алгоритмы HDR. Традиционно, есть два способа получения HDR снимка — это либо Image Stacking, либо Image Bracketing.

Что это такое?

Image Stacking — это когда делается несколько одинаковых снимков подряд, а потом они склеиваются попиксельно усредняя значение каждого пикселя. Зачем склеивать одинаковые снимки, спросите вы? Всё просто — такой способ позволяет сильно уменьшить шум на фотографии, а также сделать снимок более насыщенным, ведь при усреднении информация о цвете тоже дополняется.  А уже после такой манипуляции можно программно поднять тени, чуть-чуть восстановить света и HDR снимок готов.

Но есть другой вариант — Image Bracketing. Или на фото жаргоне — вилка по экспозиции. Тут уже делается как минимум 3 снимка, один нормальный, один переэкспонированный, чтобы там были видны детали в тенях, и один недоэкспонированный, чтобы не было засветов. А потом всё это сшивается как Франкенштейн.

В итоге, получаем широченный динамический диапазон и насыщенные цвета, но могут возникнуть артефакты типа гоустинга. Samsung, судя по всему, использует комбинированный алгоритм, потому что видны преимущества обоих алгоритмов. При этом HDR работает вообще на всех камерах, включая сверхширокоугольную камеру и фронтальную камеру.

5. Сегментация и NPU

И вот, у нас получается практически идеальный снимок. И пару лет назад склейка HDR была бы последним этапом. Но, когда в смартфоны стали встраивать нейропроцессоры, всё поменялось. И появился пятый этап — нейронная обработка.

Еще до того, как вы нажали на кнопку снять, всё что вы видите на экране так же попадает на дознание в нейропроцессор, который распознает объекты и сцены. И его смысл в том, чтобы работать гибко и помогать камере выбрать идеальные параметры.

Возможности машинного обучения нейропроцессора (NPU) внутри Exynos автоматически обнаруживают объекты в сцене, позволяя процессору обработки изображений (ISP) генерировать и применять определенные параметры съемки, адаптированные к конкретному объекту, благодаря чему качество кадра повышается. В зависимости от того какую сцену или объект он распознал заранее будет подправлены параметры съемки. Если в кадре быстро пробегает собака, камера снизит выдержку, чтобы объект не смазался. Если вы фотографируете человека NPU в процессоре Exynos автоматически подкорректирует баланс белого, чтобы получить идеальный тон кожи, а экспозиция подстроится под лицо. А после того как снимок сделан, NPU сегментирует изображение, чтобы добиться оптимального контраста и текстуры для разных объектов. И всё это происходит в доли секунды благодаря плотной интеграции центрального процессора, ISP и NPU.

Например, при помощи процессора Exynos смартфоны могут не только делать фото с размытым фоном но и видео, в режиме реального времени.  Также, в зависимости от того на какой объектив было снято изображение, могут появиться дополнительные этапы обработки — вроде исправления искажения на сверхширокоугольном объективе.

А при тридцатикратном зуме, который умеет делать этот смартфон, подключается алгоритмы апскейлинга.

6. Склейка и сохранение финального JPEG

И уже после всего это сложного процесса обработок идет сохранение игрового JPEG. И всё это происходит мгновенно!

Но поражает не это, а то что сейчас смартфоны стали настолько мощными, что научились одновременно мгновенно склеивать не просто один супер HDR-снимок. А то что теперь они это делают со всех камер одновременно.

Например, во флагманах Samsung, есть функция Мультикадр, которая позволят один раз нажать на кнопку и одновременно все камеры сделают несколько снимков и даже снимут несколько видео, а потом нейронка всё нарежет, кадрирует, и даже стабилизирует видео.

Кстати, в смартфонах есть ещё режим стабилизации видео — Super Steady — вообще какая-то дикая фича.

Компания Xiaomi продолжает проводить эксперименты с мобильной камерой. Ранее они первыми создали 108-мегапиксельную камеру в смартфоне, использовав сенсор Samsung ISOCEL Bright HMX.

На этот раз речь идёт о выдвижной объективе, который выезжает из корпуса смартфона и одновременно является основной широкоугольной и телефото-камерой. Вероятнее всего он работает ещё и как камера для крупноплановой и макросъёмки на смартфон. А вот сверхширокоугольную камеру он видимо не заменит…

У Xiaomi судя по всему есть работающий прототип, который продемонстрировали в китайской социальной сети Weibo. Сделал это глава подразделения смартфонов Xiaomi Адам Цзэн Сюэчжун.

Речь также идёт об увеличении детализации снимков до 20%, а также высокой светосиле, благодаря которой на сенсор попадает в три раза больше света. Также, судя по всему смартфон с этой системой получит обновлённую систему стабилизации изображения.

К сожалению, пока это лишь рабочий прототип смартфона и когда устройство с такой камерой появится в продаже пока неизвестно. Но разработка, согласитесь, интересная.

Zeiss ZX1 — это полнокадровая компактная камера, которую анонсировали в 2018 году. Одна из фишек камера — операционная система Android и встроенный пакет Lightroom CC. На днях камера появилась на страницах магазина B&H. При этом на неё можно оформить предзаказ.

Стоимость камеры составляет ровно 6 000 долларов. Даты выхода в продажу — нет.

Несмотря на то, что камера очень компактная, она обладает весьма серьёзными характеристиками. Внутри стоит 37,4-мегапиксельный сенсор с 255 точками фокусировки.  Фирменная оптика в наличии: 35 мм Zeiss Distagon с диафрагмой f/2. Вывод изображения, а также настройки и последующее редактирование осуществляется на 4,3-дюймовом дисплее разрешением 1280 на 720 точек. Можно воспользоваться встроенным пакетом Lightroom CC для обработки — он идёт в комплекте с камерой, но если вы хотите делиться своими снимками на десктопный Lightroom, то вам потребуется активная подписка.

Также в камере есть Wi-Fi, Bluetooth и USB Type-C.

Компактные полнокадровые камеры- явление крайне редкое. К тому же Zeiss сделали действительно дорогое устройство, хотя наличие Adobe — это как минимум интересно. В то же время можно вспомнить Sony RX1, которая вышла в 2015 год по цене в 3300 долларов, а также Leica Q2 с 47-мегапиксельным сенсором, которая стоила на 1000 долларов дешевле — 5000 долларов.

Возможно, Zeiss даст какие-то комментарии. При этом B&H на данный момент закрыт на каникулы, которые продлятся до 11 октября.

Мы уже рассказывали  том, что компания ZTE готовится в скором времени анонсировать первый смартфон с фронтальной камерой, спрятанной под дисплеем. Также наша команда видела вполне рабочий прототип такой селфи-камеры у OPPO в Шенчжене (ролик есть на канале Droider).

Благодаря такой конструкции нас в скором времени ждут по-настоящему безрамочные смартфоны без всяких выдвижных элементов, из-за которых в частности приходится отказываться от пыле- и влагозащиты.

Xiaomi рассказал, что у них готово уже третье поколение технологии подэкранной камеры и на рынок они выпустят смартфон с селфи-камерой под дисплеем уже в следующем году.

Именно в третьем поколении им удалось добиться максимального эффекта. Ранее компании приходилось делать зону с разреженными пикселями: примерно 1 пиксель на зону из 4 пикселей, благодаря этому свет проходил в нужном количестве, но были видны затемнения экрана.

Теперь же компания разработала дисплей таким образом, чтобы между пикселями были зоны, куда бы попадал свет.  При этом никакого влияния на пиксели и их плотности не было оказано.  Таким образом весь дисплей получит одинаковую яркость, цветовую гамму и цветопередачу. Компания также оптимизировала алгоритмы камеры, таким образом, чтобы она снимала на уровне современных фронталок.

Есть в этом какая-то магия, когда ночью выезжаешь за город и перед тобой открывается ночное небо со всем его многообразием звезд и небесных светил.

Мы расскажем, как фотографировать ночное небо на смартфон, чтобы сохранить волшебство в кадре.

Примеры фотографий сделаны на основную камеру смартфона Samsung Galaxy S20 Ultra, оснащённую сенсором разрешением 108 Мп и технологией nona-binning (объединение 9 пикселей в 1 суперпиксель со стороной 2,4 мкм). Благодаря этому матрица получает больше света, а камера смартфона может снимать качественно даже в таких сложных условиях.

Отметим, что эти советы могут быть актуальны не только для смартфонов Samsung, но и для других продвинутых камерофонов.

Перед выходом из дома

Запланируйте съемку, зная, какой объект собираетесь снимать, а также оптимальное время и место. Если вы хотите сфотографировать Луну, лучше дождаться новолуния. Не забудьте взять с собой фонарик и внешний аккумулятор для смартфона.

На месте

1. Установите оборудование. Для создания качественного снимка ночного неба потребуются длительная экспозиция или низкая скорость затвора. Вам понадобится штатив, держатель для смартфона, а также дистанционный спуск затвора или таймер, чтобы обеспечить стабильную работу камеры при съемке на длительной экспозиции. Таймер есть во многих смартфонах, а в качестве дистанционного спуска можно использовать внешнюю гарнитуру. Не секрет, что в смартфонах съёмка часто работает по нажатию клавиши громкости — поэтому, внешняя гарнитура с кнопкой регулировкой громкости может стить идеальным пультом дистанционного управления.

2. Используйте ручной режим. Автоматические настройки на вашей камере не подходят для съемки Млечного Пути. Переключитесь в ручной режим или профи для управления ISO, выдержкой и другими параметрами, чтобы отрегулировать освещение и режим для каждого кадра. В некоторых устройствах при этом можно встретить ночной режим, который может помочь создать фото ночного неба, а также специальный режим для съёмки звёздного неба.

3. Настройте выдержку. Её можно использовать для получения различных стилистических результатов на фото. Например, если ваш затвор остается открытым достаточно долго, вы запечатлеете вращение Земли, что приведет к появлению «следов» от звезд на изображении. Отрегулируйте скорость затвора и либо получите статические изображения ночного неба, либо используйте более длинную выдержку, чтобы передать на фото перемещение небесных тел.

4. Настройте баланс белого. Этот параметр цветовой температуры вашего изображения и используется для того, чтобы белые объекты выглядели такими и на фотографии. Для съемки звездного неба вам, скорее всего, понадобится баланс белого между 3500 и 4500 кельвинов.

5. Отрегулируйте ISO. ISO – это показатель светочувствительности датчика изображения. Чем выше значение ISO, тем выше чувствительность к свету, что облегчает создание ярких кадров даже ночью. Но это также может привести к зернистости или шуму на фото. Отрегулируйте ISO в зависимости от окружающей среды, чтобы снизить уровень шумов до минимума, и при этом позволить датчику собрать достаточно света для получения качественного снимка.

Как сохранять фотографии

Убедитесь, что снимки сохраняются не только в JPEG, но и в формате RAW. Вы можете активировать эту функцию в приложении «Камера» в «Настройках». Часто этот пункт находится в формате или размере изображения и называется — «Сохранить копии в формате RAW». При этом снимки, полученные в ручном режиме будут сохраняться с постообработкой в JPEG и в «чистом виде» в формате RAW. Последний лучше подходит для постобработки вручную в графических редакторах на смартфоне или на компьютере.

Каждый год мы с нетерпением ждём новых флагманских смартфонов HUAWEI в том числе потому что в сотрудничестве с Leica компания создала одну из лучших мобильных камер. Шутка ли, смартфоны P-серии каждый год признаются лидерами в этом направлении. Но, кажется, компания готовит новую революцию.

Напомним, что в смартфоне HUAWEI P40 Pro Plus, который как минимум пока не продаётся в России, установлен десятикратный оптический зум. Но компания решила идти дальше и запатентовала дизайн камеры с зумом в European Union Intellectual Property Office (EUIPO).

Компания собирается добавить в новое устройство поддержку дополнительного объектива, который будет ставится на блок камеры. Судя по патенту, мы увидим две камеры, ксеноновую вспышку и отдельный блок с большим сенсором, куда и можно будет поставить отдельный объектив. Наверняка, он будет не один и компания сможет предложить оптику на разные случаи жизни. А если это будут объективы Leica?

Вопрос в том, насколько живой может быть концепция отдельных объективов в смартфоне. Например, подобный трюк старалась в своё время провернуть компания Motorola и сделала совместно с Hasselblad отдельный модуль Moto Mod с камерой и зумом.

Также можно вспомнить концепцию Sony с отдельным камерами QX-линейки, которые крепились на смартфон и управлялись с него!

Вы знаете, что Google Камера или приложение Gcam — это круто. Благодаря вычислительной фотографии и алгоритмам, особенно алгоритму HDR+. Мы про это уже подробно рассказывали. Разница между фотографиями на OnePlus 8 Pro через стандартное приложение и через Gcam видна невооружённым глазом. Хотите также?

Есть проблема. Google камеру очень сложно поставить: нельзя просто скачать установочный файл из Pixel и надеяться, что он заработает на вашем смартфоне. А искать подходящую версию из сотен модификаций в интернете — очень накладно.

Но сегодня мы попробуем найти универсальную гуглокамеру. И сегодня расскажу о такой, а заодно научу разбираться в мире бесконечных модификаций лучшей мобильной камеры. Чтоб ваш телефон фоткал, как божечка (многие просили про это рассказать).

Почему вообще мы хотим поставить Google камеру на смартфон? Алгоритмы Google снимают особенно: дают высокий уровень детализации и динамического диапазона. Прежде всего за счет фирменного алгоритма HDR+, который не просто хороший HDR. У нас про это даже был отдельный материал и видео!

Начнем с проблемы. Идеальной Google камеры, работающей на любом устройстве, не существует. В этом плане заголовок немного слукавил. Почему так?

Самая главная проблема — смартфоны работают на разных чипсетах: Qualcomm, Exynos, Kirin, MediaTek и под все эти чипы программу надо адаптировать. Например, если мы запустим APK Google камеры с OnePlus 8 Pro на Samsung Galaxy S20 Ultra с чипсетом Exynos, он просто вылетит.

Но есть и хорошие новости. Если ваш смартфон на Qualcomm, то у вас будет нормальная гуглокамера. Про Exynos и Kirin поговорим позже.

Так вот, если вы дочитали до этого момента, то вы относитесь к одной из двух групп людей:

1. Не охота париться и хочется что-то поставить, чтобы работало
2. Вы готовы заморочиться и подобрать идеальный мод для своего дофига особенного Xiaomi Redmi Note 9S iPro, индийская версия.

Начнем с первой категории. Что поставить? Модов развелось огромное множество. Они отличаются перечнем устройств, под которые оптимизированы и индивидуальными фишками. Что вам нужно сделать — это поставить мод под названием Ultra CVM или просто Ultra. Почему его?

Во-первых, разработчики заявляют поддержку многих популярных смартфонов: OnePlus, многие Xiaomi и Redmi, Samsung на Qualcomm, Pocophone и другие.

Во-вторых тут есть поддержка как стандартных фишек Google камеры:

• HDR+ — что делает главный эффект
• Ночной режим
• Портрет
• Астрофото
• Сохранение в RAW
• Даже следящий фокус

Так и своих уникальных:

• Продвинутый режим HDR+, который видимо еще больше фоток обрабатывает.

Разработчик по этой причине даже решил отдельную иконку для приложения сделать.

Вот еще пара примеров фоток на стоковую камеру моего OnePlus 8 Pro и сделанных на Gcam Ultra.

Если вы хотите Google камеру на своем смартфоне и не хотите париться, спокойно качайте ее. Скорее всего всё будет хорошо. Главное, чтобы смартфон был на Snapdragon.

Кстати, многие из таких программ или сборок делают наши соотечественники, с некоторыми мы пообщались при подготовке материала: Arnova, BSG, Parrot, Tigr, Urnyx, Dise и другие.

Но не все фишки работают в Модах. Например, не работает:

• Двойная экспозиция (настройка)
• Лайв-превью hdr+

Понятно почему — для этого в смартфонах Pixel используется отдельный чип Neural Core, которого в других смартах нет.

Есть и такие нюансы:

• Технология цифрового приближения Super Res Zoom работает только с матрицами производства Sony, а с RYYB-матрицами RYYB (HUAWEI) и GRBG производства Samsung не работает.
• Другая проблема — поддержка разных модулей камер. Тут вообще все индивидуально. По умолчанию, модификации Google камеры работают только с основной камерой. Но есть сборки, которые для разных моделей подключают и телефото объектив, и ультраширик.

И тут мы переходим к хардкорному подбору гуглокамеры.

Как подобрать оптимальный мод под свой телефон?

Во-первых. В Google Play есть приложение Gcamator, которое это делает. Но не качайте его, потому что оно вообще какие-то левые моды предлагает и для половины смартфонов не находит. Кстати, если кто-то сделает нормальное приложение, будет круто.

Во-вторых, главное, что нужно запомнить — этот сайт со странным названием Целсо Азеведо. Не спрашивайте почему, но это главный агрегатор всех модов гуглокамеры, достойных внимания. А главное — там есть подбор по модели смартфона. Ура!

Ну и поиск по 4PDA никто не отменял. Но это для особых ценителей.

Ну и на последок, что делать, если у вас Samsung Galaxy или HUAWEI на процессоре Exynos или Kirin? Решение тоже есть, хотя эти моды обновляются не так часто.

Во-первых, поищите свою модель по этому же адресу.

Во-вторых, для Exynos перейдите на этот сайт.

Последние пару лет зум в смартфонах становится всё более распространённым. И если раньше речь шла о двух или трёхкратном зуме, то современный флагман трудно представить без оптического перископного зума с кратностью 5x и даже 10x и цифрового зума с кратность 100x.

При этом недосягаемыми для разработчиков и инженеров продолжают оставаться изменяемые фокусные расстояния. Хотя можем вспомнить ASUS ZenFone Zoom, Samsung Galaxy S4 Zoom и Samsung Galaxy K Zoom, а также недавний анонс концептуального смартфона от vivo — Apex 2020, который также получил Continuous Zoom.

В абсолютном большинстве случаев мы получаем огромное количество камер, каждая с собственным сенсором и объективом, которые и покрывают различные фокусные расстояния. Можно сказать, что в смартфонах речь всегда идёт о фиксах.

Китайская компания O-Film продемонстрировала перископную кострукцию, которая покрывает диапазон фокусных расстояний от 85 до 170 мм (экв.). Значение диафрагмы варьируется от f/3,1 до f/5,1. Но самое главное — толщина модуля составляет всего 5,9 мм.

Грубо говоря перед нами сейчас 3-7x оптический зум, но по заверениям O-Film в разработке находятся варианты 3-5x, 5-8x и 3.5-9.5x.

В конструкции можно увидеть призму с оптической стабилизацией изображения, а также пьезоэлектрический двигатель, который двигает группу из трёх линз внутри. Таким образом, осуществляется автофокус.

К сожалению, перед нами лишь разработки и о массовом производстве пока речи не идёт, также как и о смартфоне с подобным модулем.

Из года в год мы видим следующую ситуацию: каждое новое поколение смартфонов получает что-то новое из фишек. Но чаще вего это выливается в увеличение количество фотокамер и сенсоров. Новый патент Samsung говорит нам о новом «рекорде» — шести камерах в смартфоне. То есть скоро речь пойдёт о гекса-камере или как сказали бы на латыне — СЕКСИ-камере. Среди шести камер найдётся место и перископному объективу.

Южнокорейский гигант подал заявку ещё в декабре 2019 года в WIPO (World Intellectual Property Office). А 11 июня её опубликовали. Кроме количества камер, стоит обратить внимание на наклоняющуюся конструкцию сенсоров, то есть матрицы будут наклоняться и менять своё положение, подобно тому, как это делают объективы типа tilt-shift.

Согласно патенту, смартфон Samsung получит пять широкоугольных сенсоров с фокусным расстоянием 28 мм (экв.), а также телезум-объектив. Скорее всего объективы будут располагаться горизонтально по три штуки в два ряда. В обычном режиме они будут «смотреть» только вперед, но в активном режиме, они смогут двигаться влево, вправо, вверх и вниз.

Таким образом, можно будет добиться более широкоуго угла обзора не используя сверхширокоугольную оптику. Можно будет делать панорамные снимки и делать эффект панорамного боке. Также, за счёт того, что пять объективов и сенсоров будут работать вместе, можно ожидать повышения качества изображения и увеличения разрешения.

Есть и свои НО, первое из которых — дороговизна технологии. При этом кроме обозначенных выше плюсов можно ожидать улучшения ночных снимков, повышения и расширения динамического диапазона, и улучшения качества размытия заднего плана.

В качестве технологического и гиковского продукта — это может быть очень интересным смартфоном. Впрочем, стоит вспомнить Nokia 9 PureView с пятью разными сенсорами и объективами с одинаковым фокусным расстоянием. Продукт так и не вышел на рынок и не начались его массовые продажи. Несмотря на то что в момент анонса Nokia показала действительно впечатляющие снимки, тестовые образцы работали медленно и результат радовал не всегда. К слову, Light, с которым Nokia создавала этот продукт — официльно вышел из игры и больше не занимается разработками мобильных камер.