Компания Xiaomi поделилась в своём YouTube-канале роликом, который рассказывает о жидком объективе, который будет использоваться в новом смартфоне Mi Mix. Напомним, что анонс смартфона намечен на 29 марта.
Благодаря использованию такого оптического элемента камера смартфона сможет изменять фокусное расстояние, изменяя форму жидкого объектива. Слухи об этой технологии ходили давно: есть вероятность, что подобное решение мы увидим ещё и в новом флагмане HUAWEI.
Интересно, что жидкий объектив может позволить уйти от многокамерных блоков в смартфонах и пользоваться одним единственным сенсором большого размера. Все это может позволить сэкономить место и при этом получить универсальную камеру, покрывающую большой диапазон фокусных расстояний.
Подробностей о сенсорах, фокусных расстояниях и светосиле пока нет. Ждём анонса Xiaomi 29 марта.
OPPO Find X3 Pro: Как работает микроскоп в смартфоне?
OPPO Find X3 Pro — флагман с уникальной фишкой: камерой микроскопом. Как она работает? Зачем нужна и что на неё снимать? Это любопытно…
Сегодня у нас в гостях новый флагман — OPPO Find X3 Pro. И вроде бы это очередной смартфон с кучей камер сзади. Тут есть широкоугольная, сверхширокоугольная и зум-камеры, но есть кое-что ещё: камера-микроскоп. Сегодня посмотрим на неё и постараемся понять, как она работает…
Но начнем мы не с этого. Вообще в этом смартфоне много нового и любопытного.
Например, дизайн. Сзади тут используется специальное загнутое стекло, которое делается 40 часов! Только представьте: на производство одного стекла уходит более полутора суток. Оно кому-то понравится, кому-то нет. Лично мне зашло, плюс скажем сразу — вживую оно выглядит лучше чем на рендерах и фотографиях.
Но главный минус такого подхода: она слишком похоже на рестайленый iPhone 12 Pro.
К нам приехал синий вариант с матовой задней стенко, но есть и глянцевый. Выглядит он здорово, но отпечатки ловит на раз.
Также в смартфоне нас сразу встречает отличный стереозвук, а ещё заявлена пыле- и влагозащита IP68.
А вот виброотклик немного странный. Вроде бы не дребезжащий и дешёвый, но и до дорогого Taptic Engine не дотягивает. Где-то посередине…
Спецификации
Мощность обеспечивает Qualcomm Snapdragon 888 на 5 нм техпроцессе. Заявлены версии с 8 или 12 ГБ оперативной памяти и накопителем на 256 ГБ UFS 3.1. При этом слота для карт памяти microSD нет.
Среди любопытных деталей — есть поддержка Wi-Fi 6e.
Что важно сказать? Зарядка в комплекте! И не простая, а SuperVOOC 2.0 мощностью 65 Вт. ЗА 10 минут заряжает смартфон до 40% и примерно за 35-40 минут — полностью. Также есть быстрая беспроводная зарядка мощностью 30 Вт и обратная беспроводная на 10 Вт.
Непонятно, где SuperVOOC 3.0, который работает на мощности 125 Вт. Причём зарядки анонсированы уже год назад, а устройств с их поддержкой нет до сих пор. Беспроводная на 65 Вт — тоже где?
Объём аккумулятора — 4500 мАч
Дисплей
В смартфоне стоит AMOLED-дисплей, построенный на технологии LTPO. О ней мы подробно рассказывали недавно. Но главное, что нужно знать, благодаря этой технологии появилась возможность использовать адаптивную частоту от 10 до 120 Гц.
Плюс ко всему местный экран поддерживает 10-бит. Это больше интересно для профессионалов и для постобработки. И важно, что камера также умеет снимать в 10-бит.
Сканер отпечатка тоже находится в дисплее, но низковат. Можно было бы повыше — удобнее пользоваться и тогда смартфон не уронишь.
Камера-микроскоп
Но главная фишка этого смартфона — камера-микроскоп или микролинза, или ультрамакро. Вообще, можно эту камеру называть действительно макрокамерой, а все остальные «макрокамеры» в смартфонах считать камерами для крупноплановой съёмки: с точки зрения профессиональных фотографов и их терминологии будет правильнее.
Первая любопытная деталь: кольцевая вспышка, которая включает постоянный свет. Интересно, что она работает только на макрокамере и не является вспышкой для других модулей.
Диафрагма объектива тут довольно высокая — f/3,0.
Микроскоп даёт 30 и даже 60-кратное приближение.
И все это выглядит весьма впечатляюще. Открывается какой-то новый мир, до которого можно дотянуться в пару кликов. Кайф.
Это напоминает инфракрасную камеру в OnePlus 8 Pro. Но там можно было просветить считанные вещи. А тут можно увеличить что угодно. Вау!
Но как устроена камера-микроскоп? И почему производители раньше такого не делали? Тут даже есть заставка с телескопом! Она работает при включении телефона. Не знаю, к этому она или нет. В чем отличие от макролинзы, которую ставят во многие смартфоны?
Смотрите, основная камера в смартфоне не может снять объект близко. Потому что она умеет фокусироваться на расстоянии не меньше 7,5 см. В некоторых случаях эта цифра в район 10 и даже 15 см.
В макрокамере добавляется специальная линза, которая позволяет фокусироватьься на близких расстояниях. Из-за того, что мы снимаем близко, создается ощущение, что объект увеличен.
Но в чем отличие от микроскопа? Несмотря на то, что мы можем снять объект близко и видим маленькие детали, мы все равно не приближаем объект. И видим его также, как видели бы если бы поднесли также к глазам. Правда это невозможно, так как глаза тоже не смогут сфокусироваться на таком расстоянии.
Классический микроскоп устроен так:
Если верить пресс материалам OPPO, в Find X3 Pro стоит четыре линзы. Благодаря этому и достигается 30 и 60-кратное увеличение.
Но у камеры всё-же есть проблемы:
Достаточно низкое разрешение — всего 3 Мп. На экране смартфона всё смотрится неплохо, но если открыть на мониторе — то эффект немного испортится.
Маленькая глубина резкости — из-за этого всё очень сильно размывается, если не в фокусе.
Нет автофокуса. И это действитлеьон проблема. Тут стоит фиксированный фокус и расстояние фокусировки — от 1 до 3 мм по словам OPPO. Собственно для этого и нужна постоянная подсветка — хочешь не хочешь, а на таком расстоянии всё закрываешься. Но самое главное — макро действительно трудно сфотографировать. Даже когда приноровился, все может смазаться, потому что все должно быть неподвижно.
Что фотографировать?
Это конечно же самое увлекательное. Мы фотографировали разные объекты: сахар, соль, чай и многое другое.
Вот, например, геймпад DualSense — кто не знает на нём есть текстура из стандартных символов PlayStation: треугольника, квадрата, круга и крестика, также интересно выглядят всевозможные ткани, деньги, ключи.
Зацените чернила на листе бумаги.
Те же джинсы — обычные синие. Но на самом деле они состоят из переплетения 3 ниток.
Даже микротрещина на камере iPhone смотрится как предмет искусства.
Что это? С пузырьками? Это светоотражающая поверхность на рубашке.
А это — та самая кружка, которая постоянно находится в кадре.
А это наверное самый эффектный кадр из всех — шестая струна на гитаре — выглядит отлично. К тому же она красиво ловит блики от кольцевой вспышки на объективе.
Также можно снимать видео с микроскопом, причём в Full HD-разрешении. И это выглядит довольно эффектно.
Но что странно, кроме неудобства съёмки, фишку еще и неудобно включать: OPPO запрятала её в подменю. Получается, что не зная — ты просто не будешь пользоваться? А потом забудешь где она была.
Камера
Что интересно по блоку камеры? Что и широкоугольная и сверхширокоугольная камеры получили одинаковые сенсоры — на 50 Мп. Но несмотря на это — разница в качестве заметна.
А еще тут есть двукратный зум. Перископа нет, и славно. Интересно, что многие западные обзорщики поставили это как минус.
Также тут есть формат RAW+, а видео смартфон может снимать в 4K-разрешении c HDR, LOG-профиле и BT.2020.
Софт
Смартфон работает на Android с фирменной оболочкой Color OS. Она чистая, аккуратная, плавная и с хорошими анимациями. Но она не похожа на другие, типа Pixel или Oxygen OS.
Тут супер кастомизация: например, можно настраивать не только форму, но и пропорции иконок, просто настраивать сетку приложений, а также можно перетаскивать несколько иконок. Есть приватный режим и ещё можно делать мини-окна из приложений.
Ещё одна фишка — рингтоны от композитора Ханса Циммера, автора саундтреков к фильмам «Начало», «Гладиатор», «Бегущий по лезвию 2049», «Пираты Карибского Моря» и многим другим.
Итоги
OPPO Find X3 Pro — крайне современный флагман, почти без компромиссов. Он яркий и мощный, поддерживает 10-бит в экране и камере, а также обладает интересной фишкой с камерой-микроскопом. Но последняя вряд ли станет массовым жанром в фотографии, как не стали слоуфи в iPhone, рентгеновская камера в OnePlus 8 Pro или суперслоумоушн в Sony и HUAWEI. Скорее это гиммик, но прикольный. И можно было бы сказать, что микроскопическая камера — продаёт смартфон. Но, во-первых, устройство стоит в Европе 1149 евро, что в переводе на рубли получается более 100 тысяч рублей. А во-вторых, официально его в России не будет. Как минимум, пока…
Insta360 Go 2: Самая маленькая экшн-камера
Экшн-камеры могут быть ну очень маленькими и при этом снимать видео в отличном качестве. Именно так подумали в Insta360.
Бренд Insta360 представил новую экшн-камеру Go 2, которая тут же получила звание самой маленькой камеры в мире.
Вес устройства составляет всего 26,5 гр и она чуть больше чем зарядный кейс от AirPods Pro. При этом камера записывает видео в качестве 2560×1440 @ 50fps и даже 1920×1080 @ 120fps. Последнее можно перевести в слоу-моушн.
Здесь есть фирменная стабилизация FlowState, а на одном заряде аккумулятора камера может снимать до 2,5 часов.
Кроме того есть защита IPX8 с возможностью погружения на заявленную глубину до 4 метров. Также есть возможность снимать гиперлапсы и таймлапсы, и видеть превью в реальном времени.
Также компания представила линейку аксессуаров, в которую входит защитный кейс, зарядка, контроллер и тренога — и это все не четыре разных гаджета, а один аксессуар.
Что касается дополнительных примочек, то есть крепление на питомца, адаптер для автомобиля, ND-фильтры, магнитный подвес, защита объектива, крепление на голову и многое другое.
Цена на устройство составляет 299 долларов США.
Кстати, внешний вид устройства напоминает Миньонов из мультфильма «Гадкий Я» и что же вы думаете? Компания уже тизерит специальную версию устройства, которая появится летом.
OnePlus 9 представят 23 марта вместе с Hasselblad
Компания официально объявила о партнёрстве с Hasselblad и сообщила дату анонса смартфонов OnePlus 9 Series.
В то же время компания сегодня официально подтвердила партнерство с шведским брендом Hasselblad, который на данный момент принадлежит другой китайской компании DJI. В ролике, анонсирующим презентацию можно увидеть камеру устройства, на которой можно будет увидеть логотип шведов (ну конечно). Судя по всему речь идёт о тюнинге камер, а одна из главных совместно придуманных фишек — продвинутая цветокоррекция, которая позволит точнее определять цвета при съёмке.
Вероятно, что в режиме Hasselblad Pro появится возможность снимать фотографии в 12-битном RAW. Такие файлы можно будет обрабатывать только в фирменном приложении Hasselblad — Phocus. Также в смартфоны скорее всего завезут поддержку HDR-видео, 4K 120 FPS и 8K 30 FPS.
Пит Лау из OnePlus тизерит партнёрство с Hasselblad?
Снимок с поверхности луны, сделанный на камеру шведского бренда Hasselblad, как бы намекает на официальное сотрудничество с OnePlus.
OnePlus собирается сделать большой анонс 8 марта. Но если вы думаете, что пришла пора увидеть смратфон OnePlus 9, то не торопитесь. Скорее речь идёт об анонсировании сотрудничества, которое коснётся смартфонов OnePlus в будущем.
При этом Пит Лау тизерит событие в своём твиттер аккаунте.
Если вы не в курсе слухов и утечек, то из этого тизера можно практически с уверенностью заявить, что OnePlus официально анонсирует сотрудничество с шведским брендом Hasselblad (который на данный момент принадлежит китайскому производителю дронов и стабилизаторов DJI). Ведь фотография в посте Пита Лау — это ни что иное, как снимок, сделанный на камеру Hasselblad во время миссии Аполлон-11.
Ожидается, что в линейке смартфонов OnePlus 9 будет представлено три версии: Pro, стандартная и более доступная. Стандартная и Pro-версии получат Snapdragon 888, а лайт-версия (назовём её так) получит более дешёвый чипсет. Смартфоны будут работать на Android 11 «из коробки».
При этом вероятнее всего именно OnePlus 9 Pro станет основным «партнером» Hasselblad. На камере устройства появится фирменный логотип (это мы видели в утечке). Как ещзе будет выражаться сотрудничество — узнаем 8 марта.
OPPO запатентовал смартфон с двусторонней выдвижной камерой
Мы уже и забыли, что бывают выдвижные камеры в смартфонах. Тем не менее новые патенты и идеи появляются…
Компания OPPO была одной из первых на рынке, кто поставил в свои смартфоны выдвижную фронтальную камеру. К тому же мы помним линейку OPPO Reno, смартфоны которой выделялись «акульим плавником», в котором и пряталась фронтальная камера.
На днях появился патент в WIPO (World Intellectual Property Office): компания запатенотовала выдвижную камеру, которая позволит снимать в две стороны, ведь тут используется специальное зеркало или точнее сказать — призма.
Патент зарегистрировали в марте 202 года, а опубликовали в октябре. LetsGoDigital сделал по нему свои рендеры.
Судя по всему такая конструкция позволит одновременно делать снимки спереди и сзади, или использовать конструкцию для более удобного создания 360-градусных панорам.
Неизвестно, будет ли это дополнительная камера или полностью заменит заднюю камеру. Впрочем, мы уже привыкли, что сзади должен быть блок из трех-четырёх камер.
Одновременно с этим патентом, OPPO продолжает работу над созданием подэкранной камеры. Но интересно, что рынок полностью не отказался от выдвижных камер…
Google Camera для всех Android: Ссылка на мод внутри
Google Camera для огромного количества Android-смартфонов стал доступен. Ссылка на мод внутри.
В сети появился новый мод Google Camera by B-S-G. Создатели этого мода сообщили редакции сайта IXBT о выходе новой версии MGC_8.1.101_A9_PV0e, основной особенностью которого является поддержка огромного количества устройств. На данный момент не поддерживаются смартфоны на процессорах Exynos и Kirin, что логично.
Официальный список изменений:
полная оптимизация, быстрая работа
следящий автофокус в видео
исправления проблем с камерой Google Pixel были исправлены
исправлены сбои фронтального видео для некоторых устройств, не поддерживающих 1080p
был временно добавлен элемент для активации астрофотографии
добавлена поддержка смартфона Redmi Note 8 Pro на процессоре MTK
исправлена проблема зависания интерфейса в Xiaomi Mi Note 10 и Xiaomi Mi 9se
исправлены сбои видео на некоторых устройствах
добавлены исправления для смартфонов Sony (фиолетовые круги должны исчезать в ночном режиме)
исправлены проблемы с Auto NS и ночным режимом для смартфона Realme XT
следующее обновление будет посвящено добавлению дополнительных модулей и libpatcher.
Поддерживаются устройства компаний и брендов: Xiaomi, Redmi, OnePlus, Pixel, Samsung, ASUS, realme, LG, Sony, Meizu, ZTE, HTC, Razer, Motorola, Sharp и даже Essential Phone. Список поддерживаемых моделей можно найти по ссылке.
Что ж, кажется и Apple не удержался и готовит в новые iPhone свою версию перископического зума. Во всяком случае в US Patent and Trademark Office появился новый патент от 29 января 2021 года, в котором говорится о мобильной камере с эквивалентным фокусным расстоянием от 85 до 165 мм. Таким образом, с учётом сверхширокоугольной камеры речь может идти о более чем десятикратном оптическом зуме. Напомним, что сейчас конфигурация камер в iPhone 12 Pro следующая: 13 мм, 26 мм и 52 мм (экв.), а в 12 Pro Max: 13 мм, 26 мм и 65 мм (экв.).
Скорее всего, как и в других смартфонах, речь идёт о фиксированных фокусных расстояниях объектива, а промежуточные фокусные расстояния будут достигаться за счёт цифрового зума.
Интересно, что согласно патенту речь идёт не только об iPhone: он включает десктопный компьютер, ноутбук, планшет и так далее. Возможно мы увидим эти технологии в iPhone в будущем, но вряд ли стоит их ждать в модельной линейке 2021 года.
Gcam 8.1: APK для всех Android-смартфонов
Наконец Google Camera 8.1 доступна почти на всех Android-устройствах. В материале можно найти ссылку на APK-файл c Gcam 8.1 Mod.
Вместе с анонсом Google Pixel 5, компания представила обновлённое приложение Google Camera. Все мы знаем как снимают смартфоны Pixel, поэтому понятно почему APK Gcam 8.1 довольно быстро стало доступным на других Android-устройствах.
Google Camera известна фишками, связанными прежде всего с использованием искусственного интеллекта, а также астрофотографией, HDR+ и многим другим. Среди новых фишек портретный режим Night Sight, панорама Cinematic и другие. Несмотря на то, что Google Camera 8.0 и 8.1 доступны только на смартфоны линейки Pixel, все эти фишки стали доступны пользователям в рамках APK — Gcam 8.1 Mod.
APK-файл доступен по ссылке и работает на большинстве смартфонов на ОС Android. Пользователи отмечают, что APK может не работать на ряде устройств OnePlus, Samsung и смартфонах, построенных на базе процессора Snapdragon 845. При этом APK-файл корректно работает на Android 10 и 11.
Мы запускаем камеру на смартфоне, наводим на объект и видим маленькую иконку внизу. Смартфон понимает — что именно мы снимаем. Вы когда-нибудь задумывались, как это работает?
Беспилотные автомобили спокойно объезжают машины и тормозят перед пешеходами, камеры видеонаблюдения на улицах распознают наши лица, а пылесосы отмечают на карте, где лежат тапочки — всё это не чудеса. Это происходит прямо сейчас. И всё благодаря компьютерному зрению.
Поэтому сегодня разберем, как работает компьютерное зрение, чем оно отличается от человеческого и чем может быть полезно нам, людям?
Для того чтобы хорошо ориентироваться в пространстве человеку нужны глаза, чтобы видеть, мозг, чтобы эту информацию обрабатывать, и интеллект, чтобы понимать, что ты видишь. С компьютерным или, даже вернее сказать, машинным зрением, такая же история. Для того, чтобы компьютер понял, что он видит, нужно пройти 3 этапа:
Нам нужно как-то получить изображение
Нам нужно его обработать
И уже только потом проанализировать
Пройдёмся по всем этапам и проверим, как они реализованы. Сегодня мы будем разбираться, как роботы видят этот мир, и поможет нам в этом робот-пылесос Roborock S6 MaxV, который напичкан современными технологиями компьютерного зрения.
Этап 1. Получение изображения
В начале компьютеру надо что-то увидеть. Для этого нужны разного рода датчики. Насколько много датчиков и насколько они должны быть сложные зависит от задачи. Для простых задач типа детектора движения или распознавания объектов в кадре достаточно простой камеры или даже инфракрасного сенсора.
В нашем пылесосе есть целых две камеры, они находятся спереди. А вот, например, для ориентации в трехмерном пространстве понадобятся дополнительные сенсоры. В частности 3D-сенсор. Тут он тоже есть и расположен сверху. Но что это за сенсор?
LiDAR
Вообще с названиями 3D-сенсоров есть небольшая путаница, одно и тоже часто называют разными словами.
Эта штука сверху — называется LDS или лазерный датчик расстояния, по-английски — Laser Distance Sensor. Подобные датчики вы наверняка могли заметить на крышах беспилотных беспилотных автомобилей. Это не мигалка, это лазерный датчик расстояния, такой же как на роботе пылесосе.
Вот только в мире беспилотников такой сенсор принято называть лидаром — LIDAR — Light Detection and Ranging. Да-да, как в новых iPhone и iPad Pro.
А вот в Android-смартфонах вместо лидаров используется термин ToF-камера: ToF — Time-of-flight.
Но, как ни называй, все эти сенсоры работают по одному принципу. Они испускают свет и замеряет сколько ему понадобится времени, чтобы вернуться обратно. То есть прямо как радар, только вместо радиоволн используется свет.
Есть небольшие нюансы в типах таких сенсоров, но смысл технологии от этого не меняется. Поэтому мне, чисто из-за созвучия с радаром, больше всего нравится название LiDAR, так и будем называть этот сенсор.
Кстати, лидары использует не только в задачах навигации. Благодаря лидарам сейчас происходит настоящая революция в археологии. Археологи сканируют территорию с самолета при помощи лидара, после чего очищают данные ландшафта от деревьев. И это позволяет находить древние города, скрытые от глаз человека!
Также помимо статических лидаров, направленных в одну сторону, бывают вращающиеся лидары, которые позволяют сканировать пространство вокруг себя на 360 градусов. Такие лидары используется в беспилотных автомобилях, ну и в этом роботе-пылесосе.
Еще 8 лет назад такие сенсоры стоили каких-то невероятных денег, под 100 тысяч долларов. А теперь у вас по дому может спокойно ездить маленький беспилотник.
Лидар в пылесосе
Окей, тут лидар используется для построения карты помещения и это не новая история. Такую технологию мы видели еще года 3-4 назад.
Благодаря лидару и построенной карте, пылесос ездит не рандомно как скринсейвер в Windows, стукаясь об углы, а аккуратно проезжая всю площадь (модели без лидаров обычно катаются странно).
Но внутри пылесоса стоит, на секундочку, восьмиядерный Qualcomm Snapdragon 625 (Qualcomm APQ8053), поэтому у него хватает мозгов не только построить карту, но и ориентироваться по ней.
Более того пылесос может хранить в памяти до четырёх карт и распознаёт этажи. Это существенно ускоряет уборку. Потому при переносе с этажа на этаж пылесос это может поять и не тратит время, чтобы построить карту заново.
Также каждую из 4 карт можно поделить на 10 специальных зон. Для которых можно настроить свои параметры уборки: мощность всасывания (до 2500 Па), количество проходов и прочее. А куда-то можно вообще запретить ездить. Можно даже выбирать сухую и влажную уборку для разных зон. Правда для этого не нужно подключать/отключать отдельный резервуар с водой. И всё это стало возможно благодаря лидару.
Тем не менее у технологии есть некоторые недостатки — очень разреженные данные. Пространство сканируется линиями. В больших автомобильных радарах разрешение — от 64 до 128 линий. Плюс ко всему у лидар есть мертвая зона. Если лидар стоит на крыше — то он не видит, что творится в достаточно большом радиусе вокруг него.
Также в роботе-пылесосе лидар тут сканирует пространство всего одним лучом. Поэтому, всё что он видит — это тонкая линия на высоте где-то 9-10 сантиметров от пола. Это позволяет определять где стены и мебель, но он не видит того, что валяется на полу.
Две камеры
Поэтому, чтобы исправить этот недочет лидаров. как в автомобили, так и в пылесосы ставят дополнительные камеры. Тут камеры сразу две, и они обеспечивают стереоскопическое зрение. Да-да, у пылесоса всё как у людей — два глаза.
Две камеры, во-первых, позволяют убрать мертвую зону впереди пылесоса. А во вторых позволяют достаточно точно определять расстояние до валяющихся на полу предметов.
Это позволяет пылесосу обнаруживать предметы размером не менее 5 см в ширину и 3 см в высоту и объезжать их.
Этап 2. Обработка
Итак, мы получили достаточно данных с различных сенсоров. Поэтому переходим ко второму этапу компьютерного зрения — обработке.
Данные с лидара мы получаем в виде трехмерного облака точек, которые фактически не нуждаются в дополнительной обработке.
Как получить стерео с двух камер тоже понятно — высчитывается разница между изображениями снятыми чуть под разным углом и так строится карта глубины. Это несложно.
Но вот совместить данные с разных сенсоров — это нетривиальная задача.
Например, пылесос на полу обнаружил какой-то предмет. Дальше ему нужно понять где именно он находится на карте построенной при помощи лидара. А также нужно предположить какие у него габариты по проекции с одной стороны. То есть нам нужно поместить предмет в некий объёмный куб правильного размера.
Эту задачу можно решить разными способами. Один из способов называется “усеченная пирамида”. Сначала на камере обнаруживаются предметы. Потом эти предметы помещаются в конус, а объем этого конуса вычисляется нейросетью.
Поэтому даже, казалось бы, такая тривиальная задача требует серьёзных вычислений и решается при помощи нейросетей.
А раз мы заговорили про нейросети, значит мы уже немного зашли на 3-й этап компьютерного зрения — анализ.
Этап 3. Анализ
За распознавание, сегментацию и классификацию объектов на изображении в современном мире в основном отвечают нейросети. Мы даже делали подробный ролик о том как это работает, посмотрите.
Если кратко, нейросеть — это такое большое количество уравнений, связанных между собой. Загружая в нейросеть любые данные — ты обязательно получишь какий-то ответ.
Но, например, если постоянно загружать в нейросеть фотографии кошечек, и указать ей, что ответ должен быть — кошка. В какой-то момент, нейросеть перестает ошибаться на обучающей выборке. И тогда ей начинают показывать новые незнакомые изоражения и если на них она тоже безошибочно определяет кошек — нейросеть обучена.
Дальше нейросеть оптимизируется для того, чтобы она стала меньше, быстро работала и не жрала много ресурсов. После этого она готова к использованию.
Что-то похожее происходит с нейронными связями в человеческом мозге. Когда мы чему-то учимся или запоминаем, мы повторяем одно и то же действие несколько раз. Нейронные связи в мозге постепенно укрепляются и потом нам это легко даётся!
Например, в данном пылесосе за работу нейросети отвечает встроенный NPU-модуль. Всё-таки внутри Snapdragon, пылесос может себе такое позволить.
Нейронка предобучена определять различные предметы домашнего обихода: игрушки, тапочки, носки, всякие удлинители, зарядки и даже неожиданности от домашних животных.
Распознавание предметов происходит при помощи гугловской библиотеке Tensorflow. Алгоритм самообучается и умнеет от уборки к уборке.
Практика
В Roborock технология распознавания называется Reactive AI. Мы протестировали насколько она хорошо работает на практике.
Кайфовая штука, что все найденные предметы пылесос отмечает не карте. Поэтому теперь, я не обещаю, но такое возможно, вы всё-таки обнаружите логово пропавших носков.
Проследить за тем, что видит пылесос всегда можно через фирменное приложение или Mi Home от Xiaomi. Можно даже просто кататься по дому управляя пылесосом слать на него голосовые сообщения. Управлять пылесосом можно также через Google Ассистента или Алису. Всё на русском языке.
С недавних пор бренд начал официально продаётся в России, поэтому устройства полностью локализованные.
Внутри кстати стоит батарейка на 5200 мАч, которая способна выдержать до 3 часов уборки.
Итоги
Ребят, ну вы сами всё видели. Правда, стоит обратить внимание, что пока корректное распознавание предметов работает только если запускать пылесос через приложение Roborock. И это нюанс, поскольку оно пока недоступно в Play Market Россия. Но в течение нескольких месяцев оно появится, а пока его можно скачать и установить в виде apk-файла.
