Нам надо серьезно поговорить. Например, о смартфоне Sony за 2,5 тысячи долларов и камере Alpha 1 за 6,5 тысяч долларов, о будущем VR и AR от Apple, а также ни о чём от создателя OnePlus Карла Пея. Ну и конечно мы не обошли вниманием заявления Илона Маска в новой социальной сети Clubhouse, касательно его мозговыносящего проекта Neuralink. Добавим к этому аниме и пивко выпуска, а также кучу крутых фильмов и сериалов и получим новый выпуск #DroiderCast.
Компания OPPO провела ежегодную конференцию OPPO Inno Day, в ходе которой продемонстрировала два инновационных продукта OPPO AR Glass 2021 и приложение OPPO CybeReal. По сути, первую версию AR-очков, больше похожую на Microsoft HoloLens мы увидели лично на этом мероприятии в прошлом году. Вот, кстати видео портала Slashgear, в котором вы можете увидеть не только очки, но и Валеру.
Умные очки AR Glass 2021 — это второе поколение знакомой нам технологии. Оно на 75% легче прошлогодней модели и имеет новый «раздельный дизайн». Очки используют оптическую технологию Birdbath для повышения равномерности яркости на 98%. Нам говорят, что в очках появляется ощущение сходное просмотру 90-дюймового телевзиора с расстояния 3 метра. Но главное — судя по всему очки выглядят не как шлем, а как классические очки. Чего-то подобного мы ждали и продолжаем ждать от Apple.
OPPO AR Glass 2021 оснащены камерами со сверхширокоугольными объективами, а также датчиком ToF. Вместе они отслеживают движения рук. Утверждается, что система камеру видит 21 уникальный мавркер на каждой руке, что гарантирует фиксацию всех движений. Также нам обещают голосовой помощник Breeno.
Oppo CybeReal — это приложение дополненной реальности, базирующееся на технологии пространственных вычислений в реальном времени. Приложение основано на цифровой модели физического мир и предлагает высокоточное позиционирование в реальном времени с помощью GPS, Wi-Fi, Bluetooth и сетевой информации.
Теперь в поиске Google можно напеть песню и опознать её
Компания Google вчера показала новые возможности поиска, в чисмле которых новые методы, благодаря использованию искусственного интеллекта.
Компания Google вчера показала новые возможности поиска, в чисмле которых новые методы, благодаря использованию искусственного интеллекта. В рамках мероприятия Search On компания рассказал как и какие методы появились в продуктах. В основе Google Поиска лежит способность интерпретировать запросы и ранжировать результаты по релевантности. В этом году для всех поисковых запросов используется система понимания языка BERT.
Правописание. Google постоянно работает над тем, чтобы лучше распознавать неправильно написанные слова. На это есть серьезная причина: каждый десятый запрос содержит ошибки. Компания представила новый орфографический алгоритм, использующий глубокую нейронную сеть. С его помощью можно гораздо эффективнее расшифровывать слова с ошибками.
Фрагменты. Ответы на узконаправленные вопросы сложнее всего найти. Иногда приходится просмотреть целую веб-страницу, чтобы найти единственное предложение, содержащее нужную информацию. Недавно был совершен прорыв, связанный с ранжированием результатов поиска. Теперь Google Поиск может индексировать не только веб-страницы, но и их отдельные фрагменты. Благодаря этому алгоритм лучше понимаем содержание фрагментов текста и сортирует их по релевантности. В следующем месяце начнется использование этой технологии для запросов на английском языке в США. Это позволит лучше обрабатывать 7% поисковых запросов на всех языках после запуска функции по всему миру.
Подкатегории. Google использует нейронные сети, чтобы определять, на какие подкатегории делится интересующая вас тема. Так можно получить более разнообразный контент по широким поисковым запросам. Например, если вы ищете «домашние тренажеры», Поиск выделит релевантные подкатегории, например бюджетные тренажеры, хиты продаж и компактные варианты, и показать на странице широкий спектр результатов поиска. Мы начнем внедрять эту технологию в конце года.
Доступ к качественной информации во время пандемии COVID-19
Несколько улучшений было направлено непосредственно для доступа качественной информации во время пандемии. Это несколько улучшений, которые помогут лучше ориентироваться, а также безопаснее и эффективнее решать повседневные задачи. Чтобы было проще поддерживать социальную дистанцию, Google добавили новости о посещаемости мест в режиме реального времени. Эти сведения позволяют узнать, насколько заведение загружено прямо сейчас. Обновления функции «Улицы в AR-режиме» помогут вам получить важную информацию о месте еще до того, как вы туда зайдете. Кроме того, в профилях компаний в Google Поиске и на Google Картах теперь на видном месте будет отображаться информация о мерах безопасности, принятых в связи с COVID-19. Так вы узнаете, нужна ли для посещения места маска, необходимо ли бронирование и принимают ли работники дополнительные меры безопасности (например, регулярно измеряют температуру).
Определение ключевых моментов видео
Google также научился автоматически находить в видеоматериалах ключевые моменты. В этом помогает новый основанный на технологиях ИИ подход к глубокому семантическому анализу видео. Благодаря этому Google отмечает самые важные моменты, чтобы получить нужную информацию без просмотра видео целиком. Так, если вы хотите увидеть конкретный отрезок видеорецепта или найти в ролике с лучшими моментами игры бросок, определивший победу, это не составит труда. Эту технологию начали тестировать в 2020 году и к концу года планируется использовать ее для обработки 10% запросов в Google Поиске.
Более глубокое понимание запросов, связанных с данными
Если вам нужно найти статистику, обычно вы идете в поисковик. Однако она может быть затеряна в большом количестве данных, не совсем понятна или недоступна онлайн. Теперь, когда вы вводите связанный со статистикой вопрос, например «темпы роста ВВП в США», Google использует обработку естественного языка, чтобы соотнести поисковый запрос с одним из миллиардов элементов в хранилище Data Commons. После этого он представляет нужные статистические данные в графическом формате, в котором их легко воспринимать. Это стало возможно благодаря проекту Data Comms — открытой информационной базе статистических данных. Работа над проектом началась в 2018 году совместно с Бюро переписи населения США, Центрами по контролю и профилактике заболеваний США, Всемирным банком и многими другими организациями.
Расширенный поиск для повышения качества журналистики
Качественная журналистика часто рождается из долгосрочных исследовательских проектов, которые требуют длительного изучения огромных коллекций документов, изображений и аудиозаписей. Новый набор инструментов Journalist Studio предназначен для того, чтобы журналисты могли выполнять свою работу эффективнее, безопаснее и более творчески. Google добавляет в Journalist Studio еще один инструмент — Pinpoint. Пользуясь им, журналисты с помощью технологии Google Поиска смогут быстро просеивать сотни тысяч документов, автоматически выделяя и систематизируя данные о наиболее часто упоминаемых людях, организациях и местах. Зарегистрироваться и запросить доступ к Pinpoint журналисты могут с этой недели. В данный момент инструмент работает только с данными по США.
Ищите то, что у вас перед глазами, и изучайте информацию в 3D
Многие вещи нужно увидеть, чтобы понять. Google представил новые функции Google Объектива и AR в Google Поиске, которые помогут по-новому учиться, делать покупки и исследовать окружающий мир. Многим сейчас приходится учиться дома, и не всем это дается легко. Теперь с Google Объективом можно получать помощь с домашними заданиями по математике, химии, биологии и физике. Необходимость соблюдать социальную дистанцию кардинально изменила процесс покупок, поэтому Google старается сделать шопинг в интернете еще удобнее.
Не можете написать запрос? Напойте его!
А вот эта функция очень крутая и уже работает в России.
Бывает, что в голове засела мелодия, но слова вспомнить не получается. Теперь, если это случилось с вами, можно напеть мелодию вместо поискового запроса, и алгоритмы искусственного интеллекта соотнесут ее с нужным треком.
Мы проверили — оно работает: три попадания из трёх.
Все чаще мы видим в смартфонах так называемые 3D-сенсоры, или сенсоры глубины. Большинство из них также называют ToF-сенсорами аналогично одноименной технологии. По слухам, такой сенсор будет установлен и в новом iPhone (там он называется LiDAR, подробнее мы об этом рассказывали в другом материале). Эти сенсоры довольно дорого стоят, но зачем они нужны понятно не всем. Производители уверяют, что сенсоры позволяют делать лучше фото и портреты или добавляют фишки в дополненную реальность. Но так ли это на самом деле?
Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.
Что такое 3D сенсор (сенсор глубины)
Для начала, давайте разберемся, а что такое 3D-сенсор? Фотокамеры захватывают проекцию окружающего мира на плоскость. По одной лишь фотографии не понять реальный размер объекта — размером ли он с бутылку или с Пизанскую башню. И расстояние до него тоже не понять.
Для того, чтобы понимать реальные размеры объектов на фото, масштабы съемки, отличать, что ближе к камере, а что дальше, и нужны 3D-сенсоры. Они уже давно и активно применяются в робототехнике, автономном транспорте, играх, медицине и много где еще. Более того, наши глаза — это тоже 3D сенсор. При этом, в отличие от LiDAR’а и ToF-сенсоров в смартфонах, глаза — пассивный 3D-сенсор. То есть не излучающий никакого света, а работающий только на основе поступающего света. Только благодаря этому мы можем хоть как-то перемещаться в пространстве и взаимодействовать с окружающими объектами. Теперь 3D-сенсоры появились и в смартфонах.
Как работает ToF?
LiDAR в iPad’е, а также все 3D-сенсоры в Android-смартфонах — это time-of-flight или сокращенно ToF-сенсоры. Они определяют расстояния до объектов вокруг, напрямую измеряя сколько времени понадобится свету, чтобы долететь от камеры до объекта и вернуться обратно. Это очень похоже на эхо в пещере, оно тоже после отражения от стенок возвращается к нам с запаздыванием. Чтобы пролететь 1 метр свету нужно 3 наносекунды, для 1 см — 30 пикосекунд. Вроде бы все понятно. Но есть проблема.
Это очень маленькие промежутки времени. Как камера может такое замерить? Не будет же она делать миллиард кадров в секунду, а потом их сравнивать? Есть 2 основных подхода для решения этой проблемы: dToF (direct ToF) и iToF (indirect ToF). И чтобы вас заинтриговать еще сильнее: абсолютное большинство Android-смартфонов используют как раз iToF сенсоры, тогда как LiDAR в Apple iPad и скорее всего в грядущих iPhone — это редкий представитель семейства dToF сенсоров. Так чем же они отличаются?
iToF — indirect ToF
Начнем с iToF. В таких сенсорах излучатель отправляет высокочастотный модулированный свет, то есть этот свет постоянно включается и выключается с частотой десятки миллионов раз в секунду. За счет того, что свету нужно время для полета до объекта и обратно, фаза, то есть вот это состояние где-то между включенностью и выключенностью, света, вернувшегося в камеру, немного отличается от фазы света в момент отправки. На сенсоре исходный и отраженный обратно от объекта сигналы накладываются друг на друга, и за счет этого определяется сдвиг фаз, который и позволяет понять расстояние до каждой точки объекта.
dToF — direct ToF
dToF работает немного иначе. В таких сенсорах напрямую измеряется разница во времени между отправкой света и детектированием его отражения на сенсоре. Для этого используются так называемые SPAD: single photon avalanche diodes. Они могут детектировать крайне маленькие импульсы света, фактически даже ловить единичные фотоны. Такие SPAD расположены в каждом пикселе сенсора. А в качестве излучателя в таких сенсорах используются как правило так называемые VCSEL — Vertical Cavity, Surface Emitting Laser. Это лазерный излучатель, подобный тем, что используются в лазерных мышках и много где еще. dToF сенсор в LiDAR разработан совместно с Sony и является первым массовым коммерческим dToF сенсором.
Можно лишь гадать, почему в iPad используется dToF сенсор, но давайте отметим преимущества такого сенсора. Во-первых, в отличие от iToF сенсора излучатель испускает не сплошную стену света, а лишь светит в отдельных направлениях, что позволяет экономить батарейку. Во-вторых, dToF сенсор меньше подвержен ошибкам в измерении глубины из-за так называемой multipath interference. Это типичная проблема iToF сенсоров. Она возникает из-за переотражения света между объектами перед попаданием обратно в сенсор и искажает измерения сенсора.
Как это работает, разобрались, давайте теперь посмотрим, а зачем вообще 3D-сенсоры используются в смартфонах.
Зачем это нужно в смартфонах
1. Безопасность
Первым массовым внедрением 3D-сенсоров в смартфонах мы обязаны Apple и технологии Face ID. Распознавание лиц при использовании трёхмерных данных намного точнее и надежнее классического распознавания лиц по фото. Для Face ID Apple использует технологию структурированной подсветки, на ней мы остановимся подробнее как-нибудь в следующий раз.
2. AR
Большинство производителей заявляют, что именно более качественный и точный режим дополненной реальности является главной задачей 3D-сенсоров. Более того, это также поддерживается непосредственно компанией Google. Буквально недавно они представили грядущее обновление своей библиотеки дополненной реальности ARCore, позволяющее более реалистично размещать виртуальные объекты в реальности и взаимодействовать с реальными объектами.
Для этой же задачи Apple встроили LiDAR в iPad Pro. Такое можно делать и без 3D-сенсора, но с ним все работает точнее и надежнее, плюс задача становится вычислительно сильно проще и разгружает процессор. 3D-сенсор выводит AR на другой уровень.
3. Улучшение фотографий
Ряд производителей, например, Samsung и HUAWEI заявляют, что 3D-сенсор используется в первую очередь для более качественного размытия фона и более точного автофокуса при съемке видео. Другими словами, он позволяет увеличить качество обычных фото и видео.
4. Прочее
Доступ к данным сенсоров у некоторых смартфонов открыт, поэтому появляется все больше приложений, предлагающих новые применения. Так, например, с помощью внешних приложений 3D-сенсор можно использовать для измерения объектов, трехмерного сканирования и motion tracking’а. Есть даже приложение, позволяющее сделать из своего смартфона прибор ночного видения.
Тесты
С тем как это работает в теории разобрались, давайте теперь посмотрим, как это работает на практике, и есть ли какой-то толк от этих дорогущих 3D-сенсоров в флагманах. Для тестов мы взяли Redmi Note 9S, у него есть ToF-сенсор и мы сделали несколько снимков в портретном режиме, но во втором случае просто закрыли 3D-камеру пальцем. И вот что получилось.
Всё просто — размытие действительно больше и лучше, если ToF работает.
И для частоты эксперимента мы взяли Samsung Galaxy S20 Ultra, который также получил ToF-камеру.
И найдите хотя бы одно отличие?
Что получается? Дело в том, что в зависимости от производителя ToF-камера используется по-разному и в разной степени.
Можно сказать, что часть производителей смартфонов располагает ToF-датчики в своих смартфонов не для маркетинга, чтобы добавить ещё одну камеру, а скорее на всякий случай. А дальше уже алгоритмы решают — использовать эту камеру или нет?
При этом на сегодняшний момент необходимости в LiDAR или ToF-камерах прямо нет. Так что это видимо чуть больше маркетинг.
Witcher: Monster Slayer — Ведьмак пришёл в AR
Гули и альгули, игоша и ивасик, баба яга и стрыга, брукса и кикимора — все они ждут на улицах вашего города! Станьте Ведьмаком и идите на охоту!
Помните тот год, когда все помешались на Pokemon: Go и носились по городу в поисках карманных монстров? Но ребята из CD Project решили, что это все не для нас. Потому что в душе мы все Ведьмаки и хотим ловить настоящих монстров: стрыгу, ивасика, игошу, катакану, альгуля и конечно же Бориса.
https://youtu.be/TJONQYsru1c
Компания пару лет назад приобрела студию Spokko, которая и представила мобильную игру The Witcher: Monster Slayer. В ней нам надо взять в руки смартфон и охотиться за монстров.
https://youtu.be/t82JBXf9MPw
Игровой процесс строится не только на поиске монстров. Игра будет учитывать условия такие как погода и время суток. Но конечно монстры пополнят вашу «энциклопедию», а Ведьмак соберёт трофеи с поверженных монстров.
Говорят, что в игре будут сюжетные квесты и даже NPC. Релиз состоится на iOS и Android.
OnePlus Nord будет представлен в формате AR
Первая презентация смартфонов в AR-формате — это уже заявка. А если речь идёт о OnePlus, причём о народной его версии, то вообще огнище!
Новый смартфон OnePlus Nord будет представлен в необычном AR-формате 21 июля. Для того, чтобы увидеть устройство надо скачать специальное приложение OnePlus Nord AR в Google Play или App Store.
Программа доступна уже сейчас — в ней идёт обратный отсчёт до анонса, также можно создать собственный AR-аватар OnePlus в фирменной майке. Забавный нюанс — это можно пропустить, но признать, что вы скучный!
На данный момент AR-приложение показывает дату анонса и время в четырёх часовых поясах. Также там можно увидеть своеобразную «болванку» смартфона: правда никаких деталей не видно!
KAWS запустил EXPANDED HOLIDAYS: AR-скульптуры
Известный бруклинский художник на этот раз сделал свои инсталляции в формате дополненной реальности! 12 AR-скульптур расположены по всему свету!
KAWS решил перевести свои скульптуры в цифровую реальность. Художник из Бруклина на этот раз решил воспользоваться AR и VR-технологиями и силами компании Acute Art создал проект EXPANDED HOLIDAY. Это 12 огромных скульптур в дополненной реальности, которые доступны в больших городах по всей планете: Доха, Гонконг, Лондон, Нью Йорк, Токио и других. Проект закончится 26 марта.
В добавок к этому можно будет приобрести 25 AR-скульптур в онлайн-магазине Acute Art. 1,8-метровая онлайн фигурка обойдётся в 10 000 долларов. Купивший такого компаньона сможет выбрать для него локацию, сделать фотографию и получить специальный сертификат.
Вторая «партия» AR-фигурок будет доступна всего за 6,99 долларов в трёх расцветках. Но она будет «видна» лишь 24 часа или у вас будет 10 дней, чтобы поделиться AR-опытом с друзьями в социальных сетях!
Увидеть AR-скульптуры можно только через приложение The Acute Art, которое доступно на iOS и Android.
Локации EXPANDED HOLIDAY:
Doha (MIA Park – Museum of Islamic Art)
Hong Kong (Observation Wheel)
London (Millennium Bridge)
Melbourne (National Gallery of Victoria)
Australia New York (Brooklyn Museum)
New York (Times Square)
Paris (The Louvre Pyramid)
Sao Paulo (Ibirapuera Park)
Seoul (Dongdaemun Design Plaza)
Taipei (National Chiang Kai-shek Memorial Hall)
China Tanzania (Serengeti National Park)
Tokyo (Shibuya Crossing)
OPPO AR Glasses или Hololens из Китая
Теперь OPPO разрабатывает ещё и очки дополненной реальности с простым рабочим названием AR Glasses. Изучаем одними из первых!
Ещё одно видео с OPPO Inno Day 2019. На этот раз рассказываем об OPPO AR Glasses — очках дополненной реальности, которые не просто показали, но и дали протестировать прямо на мероприятии. Это прямой аналог Hololens от Microsoft, но судя по всему он будет дешевле.
Очки состоят из полупрозрачных линз и экранов. К сожалению,узнать спецификации устройства нам не удалось — пока что это только концепт или можно сказать рабочий прототип. Сверху есть четыре кнопки — по две с каждой стороны, но большая часть управления осуществляется жестами. Чтобы закрепить очки нужно закрутить специальный болт. Мы зажали голову в «тиски», но очки всё же не оказались закреплены намертво.
Анимация происходит не очень быстро. но при этом устройство воспринимает всю руку целиком с учётом суставов и рисует их модель. Также есть жест Pinch to zoom, чтобы приближать, а также крутить карту. Для того чтобы выбрать тот или иной пункт в меню надо показать палец вверх — как Like.
Судьба смарт-очков от Apple | Droider Show
Валерий Истишев изучил свежие «утечки» про AR-гаджет
Слухи об «умных» очках от Apple существуют давно. Однако последние годы количество сведений увеличилось. Согласно новым данным, обнаруженным в iOS 13, кодовое имя продукта для дополненной реальности — Garta. Кроме того, создается StarBoard — системная оболочка для AR-приложений.
Анонс носимого девайса ожидается в 2020 или 2021 году. О других подробностях можно узнать из Droider Show.
Компания в ходе шанхайской MWC 2019 дебютировала в сегменте дополненной реальности с очками, предназначенными для развлечений. Например, игр, 3D-видеороликов и распознавания объектов.
AR Glass от Vivo
AR Glass от Vivo
AR Glass (название не окончательное) обладают 6 степенями свободы, 2 экранами с разрешением 1280 х 720 пикселей, 3 камерами, 2 датчиками глубины, портом USB Type-C, поддержкой сетей 5G, виртуальным ассистентом Jovi.
Сведений о сроках релиза и стоимости AR-очков от Vivo нет.
