Нейросети сейчас называют новым электричеством. Мы их не замечаем, но пользуемся каждый день. Face ID в iPhone, умные ассистенты, сервисы перевода, и даже рекомендации в YouTube — всё это нейросети. Они развиваются настолько стремительно, что даже самые потрясающие открытия выглядят как обыденность.

Например, недавно в одном из самых престижных научных журналов Nature опубликовали исследование группы американских ученых. Они создали нейросеть, которая может считывать активность коры головного мозга и преобразовывать полученные сигналы в речь. С точностью 97 процентов. В будущем, это позволит глухонемым людям «заговорить».

И это только начало. Сейчас мы стоим на пороге новой технической революции сравнимой с открытием электричества. И сегодня мы объясним вам почему.

Как работают нейросети?

Центральный процессор — это очень сложный микрочип. Он умеет выполнять выполнять кучу разных инструкций и поэтому справляется с любыми задачами. Но для работы с нейросетями он не подходит. Почему так?

Сами по себе нейросетевые операции очень простые: они состоят всего из двух арифметических действий: умножения и сложения.

Например, чтобы распознать какое-либо изображение в нейронную сеть нужно загрузить два набора данных: само изображение и некие коэффициенты, которые будут указывать на признаки, которые мы ищем. Эти коэффициенты называются весами.

Вот например так выглядят веса для рукописных цифр. Похоже как будто очень много фоток цифр наложили друг на друга.

А вот так для нейросети выглядит кошка или собака. У искусственного интеллекта явно свои представления о мире.

Но вернёмся к арифметике. Перемножив эти веса на исходное изображение, мы получим какое-то значение. Если значение большое, нейросеть понимает:

— Ага! Совпало. Узнаю, это кошка.

А если цифра получилась маленькой значит в областях с высоким весом не было необходимых данных.

Вот как это работает. Видно как от слоя к слою сокращается количество нейронов. В начале их столько же сколько пикселей в изображении, а в конце всего десять — количество ответов. С каждым слоем изображение упрощается до верного ответа. Кстати, если запустить алгоритм в обратном порядке, можно что-нибудь сгенерировать.

Всё вроде бы просто, да не совсем. В нейросетях очень много нейронов и весов. Даже в простой однослойной нейросети, которая распознает цифры на картинках 28 x 28 пикселей для каждого из 10 нейронов используется 784 коэффициента, т.е. веса, итого 7840 значений. А в глубоких нейросетях таких коэффициентов миллионы.

CPU

И вот проблема: классические процессоры не заточены под такие массовые операции. Они просто вечность будут перемножать и складывать и входящие данные с коэффициентами. Всё потому, что процессоры не предназначены для выполнения массовых параллельных операций.

Ну сколько ядер в современных процессорах? Если у вас восьмиядерный процессор дома, считайте вы счастливчик. На мощных серверных камнях бывает по 64 ядра, ну может немного больше. Но это вообще не меняет дела. Нам нужны хотя бы тысячи ядер.

Где же взять такой процессор? В офисе IBM? В секретных лабораториях Пентагона?

GPU

На самом деле такой процессор есть у многих из вас дома. Это ваша видеокарта.

Видеокарты как раз заточены на простые параллельные вычисления — отрисовку пикселей! Чтобы вывести на 4K-монитор изображение, нужно отрисовать 8 294 400 пикселей (3840×2160) и так 60 раз в секунду (или 120/144, в зависимости от возможностей монитора и пожеланий игрока, прим.ред.). Итого почти 500 миллионов пикселей в секунду!

Видеокарты отличаются по своей структуре от CPU. Почти всё место в видеочипе занимают вычислительные блоки, то есть маленькие простенькие ядра. В современных видюхах их тысячи. Например в GeForce RTX2080 Ti, ядер больше пяти тысяч.

Всё это позволяет нейросетям существенно быстрее крутиться GPU.

Производительность RTX2080 Ti где-то 13 TFLOPS (FLOPS — FLoating-point Operations Per Second), что значит 13 триллионов операций с плавающей запятой в секунду. Для сравнения, мощнейший 64-ядерный Ryzen Threadripper 3990X, выдаёт только 3 TFLOPS, а это заточенный под многозадачность процессор.

Триллионы операций в секунду звучит внушительно, но для действительно продвинутых нейронных вычислений — это как запустить FarCry на калькуляторе.

Недавно мы игрались с алгоритмом интерполяции кадров DAIN, основанном на машинном обучении. Алгоритм очень крутой, но с видеокартой Geforce 1080 уходило 2-3 минуты на обработку одного кадра. А нам нужно чтобы подобные алгоритмы работали в риалтайме, да и желательно на телефонах.

TPU

Именно поэтому существуют специализированные нейронные процессоры. Например, тензорный процессор от Google. Первый такой чип в Google сделали еще в 2015 году, а в 2018 вышла уже третья версия.

Производительность второй версии 180 TFLOPS, а третьей — целых 420 TFLOPS! 420 Триллионов операций в секунду. Как они этого добились?

Каждый такой процессор содержит 10-ки тысяч крохотных вычислительных ядер, заточенных под единственную задачу складывать и перемножать веса. Пока, что он выглядит огромным, но через 15 лет он существенно уменьшится в размерах. Но это еще фигня. Такие процессоры объединяться в кластеры по 1024 штуки, без каких либо просадок в производительности. GPU так не могут.

Такой кластер из тензорных процессоров третьей версии могут выдать 430 PFLOPS (пета флопс) производительности. Если что, это 430 миллионов миллиардов операций в секунду.

Где мы и что нас ждёт?

Но как мы уже говорили, это только начало. Текущие нейронные суперкомпьютеры — это как первые классические мейнфреймы занимавшие, целые этажи в зданиях.

В 2000 году первый суперкомпьютер с производительностью 1 терафлопс занимал 150 квадратных метров и стоил 46 миллионов долларов.

Спустя 15 лет NVIDIA мощностью 2?3 терафлопса, которая помещается в руке стоит 59$.

Так что в следующие 15-20 лет суперкомпьютер Google тоже поместится в руке. Ну или где мы там будем носить процессоры?

А мы пока ждём момента, довольствуемся нейромодулями в наших смартфонах — в тех же Qualcomm Snapdragon’ах, Kirin’ах от Huawei и в Apple Bionic — они уже тихо делают свою работу.

И уже через несколько презентаций они начнут меряться не гигагерцами, ядрами и терафлопсами, а чем-то понятным для всех — например, распознанных котиках в секунду. Всё лучше, чем попугаи!

В последние годы, мы слышим презентациях одно и то же — AI, ИИ, Искусственный Интеллект — каждый раз. Мы постоянно слышим это словосочетание, но что именно он делает и как прокачивает наши смартфоны? Давайте разберёмся!

Я всегда думал, что искусственный интеллект в смартфоне это какое-то баловство. И нужен он только для того, чтобы делать небо синее, а траву зеленее на фоточках. Но углубившись в технологию, я понял, что всё гораздо интереснее.

Нейронный бум начался пару лет назад, когда появился первый мобильный чипсет со встроенным NPU модулем — Kirin 970. Тогда локальные нейронные вычисления были в новинку для смартфонов, и преимущества ИИ были доступны только на дорогих моделях. Но сейчас даже в доступных гаджетах вроде HONOR 9X есть ИИ алгоритмы. Но что же они делают?

Ночной режим

В смартфонах HONOR практически за весь цикл создания фотографии в знаменитом Ночном режиме отвечает искусственный интеллект:

1. Во-первых, нейронная сеть отвечает за определение правильной выдержки. ИИ замеряет силу и характер тряски телефона. Определяет в руках он или на подставке, и подбирает оптимальную выдержку, чтобы избежать смазов.

2. Потом, ИИ выбирает экспозицию и сколько нужно сделать кадров в зависимости от яркости сцены и её типа. То есть искусственный интеллект, условно говоря, понимает, что если на снимке есть человек, надо бы сделать сцену ярче, чтобы были видны лица, либо решает сохранить глубокие тени для красивого пейзажа.

3. На последнем этапе, ИИ объединяет все снимки в один. Он отбрасывает смазанные кадры, выравнивает удачные и попиксельно склеивает их, дорисовывая края изображения если что-то обрезалось, уменьшает шумы и прочее… В общем ИИ действительно используется на полную.

В HONOR 9X установлен блок из 3 камер: основная на 48 Мп, сверхширик на 8 Мп и сенсор глубины для размытия фона.

Кстати, обратите внимание, на экране нет никаких челок и вырезов, здесь безрамочный All-View дисплей с диагональю 6.59”. Это IPS. Всё потому, что фронталка тут выдвигается. Она на 16MP, да ещё и защищена от воды и пыли, а при падении смартфона автоматически прячется в корпус. Но искусственный интеллект внутри меня, всё равно рекомендует телефон не ронять.

Улучшение сигнала

Искусственный интеллект в ночном режиме — об этом ещё можно было догадаться. Но есть и совершенно необычный кейс применения нейронных сетей в телефоне. Хотя к камере мы еще вернемся. Как думаете для чего? Для улучшения качества приёма сигнала с антенн!!!

Как правило антенны в телефонах расположены сверху и снизу. И это казалось бы адекватное решение. Но при горизонтальном хвате, когда берешь телефон в обе руки, чтобы поиграть, перекрываются обе антенны. Помните антенногейт на iPhone 4?

Так вот, инженеры HONOR решили этот вопрос очень элегантно. Во-первых, сильно переработав традиционное расположение антенн. А во-вторых, обучили нейронную сеть перераспределять мощность сигналов антенн в зависимости от хвата и сценариев использования телефона. Тем самым увеличив качество приёма на величину до 50%!

Теперь во время важного боя в Fortnite до вас смогут дозвониться родные и близкие! А это всегда хорошо. На этом, кстати, заслуги искусственного интеллекта не заканчиваются.

В условиях плохого сигнала 4G, в метро или лифте, ИИ в реальном времени сокращает время переподключения к 4G с традиционных 30 секунд до 1-2 секнд. Это очень полезно когда слушаешь в пути музыку из облака или смотришь любимый Droider на YouTube!

Стабилизация

На задней крышке телефона, красуется надпись AI Camera, которая как бы намекает — не одним ночным режимом тут управляет ИИ. Понятно, что в камерах ИИ используется для определения сцен и их улучшения. Для портретного режима и бьютификации тоже. К этому мы уже привыкли.

Крышка, кстати, переливается в виде буквы X. Очень в стиле искусственного интеллекта.

Но кто бы мог подумать, что ИИ отвечает за стабилизацию видео. Я думал это всё маркетинг, но даже при отсутствии в камере оптической стабилизации изображения видео получается качественным. И всё это софт.

Как это работает? Общий смысл технологии в том, что в отличие от обычных алгоритмов ИИ может динамически изменять степень компенсации тряски в зависимости от того, что происходит в кадре. В итоге получается очень плавная и естественная картинка без смазов и мелких подергиваний.

Процессор

А знаете, что самое интересное? В этом телефоне установлен чипсет Kirin 710F, в котором даже нет отдельного NPU модуля. Но как тогда это всё работает? В HONOR объяснили, что все нейронные вычисления работают на программном уровне. Более того, за счет оптимизации ИИ и без того энергоэффективный процессор работает еще экономичнее. Я протестировал устройство на разных играх. С учётом батарейки в 4000 мАч, 6 Гб оперативки и нового поколения фирменной технологии GPU Turbo получился очень достойный игровой смартфон. И снова говорим спасибо искусственному интеллекту.

И в конце хочется сказать, я приятно удивлён тому, что сейчас искусственный интеллект работает отлично даже в доступных смартфонах, таких как HONOR 9X и это не маркетинг или реклама, а чистая правда!

В Droider Show можно узнать все слухи о смартфонах, над которыми тайно работает Google. Кроме того, можно увидеть прототип складного «планшетофона», официально продемонстрированного Samsung.

На десерт Борис Веденский расскажет об искусственном ведущем новостей, которого не отличить от обычного человека.

О существовании «нейронных сетей», «искусственного интеллекта» и «машинного обучения» слышали все, кто более-менее интересуется современными технологиями. Однако не каждый знает о реальном применении этих словосочетаний. Борис Веденский решил разобраться, что к чему.

Ещё больше информации про AI, ML и IoT можно будет узнать на RAIF 2018, который пройдет 23 октября в Москве.

Компания решила выпустить Зеленого робота с пирогом в качестве официального десерта именно сегодня.

Напомним, что Android 9.0 Pie обладает нативной поддержкой «моноброви», переработанным экраном многозадачности, интуитивной функцией Do Not Disturb и множеством других нововведений.

Первыми смартфонами, которые получат юбилейную ОС по воздуху, стали линейка Pixel и Essential Phone. Кстати, файлы заводской прошивки для «пиксельфонов» уже доступны на сайте Google.

Далее до конца осени обновление будет доступно обладателям моделей из линейки Android One, Xperia XZ2 от Sony, Mi Mix 2S от Xiaomi, Nokia 7 Plus от HMD Global, R15 Pro от Oppo, X21 от Vivo и OnePlus 6.

Источник: Android

Борис Веденский рассказывает и показывает особенности свежеанонсированной Android 9.0 P, а также сравнивает с ОС от Apple.

Напомним, что в марте на канале Droider уже выходил видеообзор, посвященный новинке от Google.

Как и было заявлено, сегодня стартовала I/O в Калифорнии. Посмотреть прямой эфир с Борисом Веденским можно было тут. А мы расскажем о самых горячих анонсах своими словами.

Android P

Напомним, что в 2018 году операционная система отмечает 10 лет, поэтому команда Google постаралась для того, чтобы Android P получился запоминающимся. Кроме того, о чем было рассказано на канале Droider, от новейшего Зеленого робота стоит ожидать:

• функция Adaptive Brightness подстраивает яркость экрана под программы и окружение;
• функция Do Not Disturb помогает отойти ко сну, приглушая цвета дисплея до монохромного;
• функция Slices делает поиск более полезным, предоставляя дополнительные сведения. Если написать «Uber», то продемонстрируется не только история компании, но и расположение ближайших такси;
• меню Dashboard отображает время пользования гаджетом и приложениями. Доступ к некоторым ресурсам можно ограничить. Это создано для того, чтобы бороться с зависимостью от смартфонов и социальных сетей;
• карточки приложений перемещаются горизонтально, а не вертикально;
• управление с помощью жестов на навигационной панели внизу экрана;
• уведомления отображают не только последнее, то и несколько предшествующий сообщений для понимания контекста;
• оптимизация расхода зарядки в зависимости от привычек владельца.

Попробовать Android 9.0 уже могут обладатели Pixel, Sony, Xiaomi, Nokia, OnePlus, Oppo и других мобильных телефонов. Подробнее об участии в бета-тестировании — здесь. Официальный релиз произойдет в июле-сентябре.

Android Things

Новая ОС призвана помочь разработчикам создавать продукты для «интернета вещей». Google проследит за частым и продолжительным (до 3 лет) выходом обновлений, их установкой на устройства без участия пользователя.

Android Things 1.0 совместима с процессорами от Qualcomm, MediaTek и Raspberry. Заинтересованность в проекте уже подтвердили LG, Lenovo и JBL. Аппараты дебютируют уже в 2018 году.

Wear OS

«Операционка» для смарт-часов получила более тесную взаимосвязь с виртуальным Assistant. Например, есть отображение на дисплее подсказок по запросу и последующее поддержание диалога через динамик или Bluetooth-наушники.

Assistant

Сундар Пичаи, глава корпорации, поведал о технологии Duplex, в рамках которой голосовой помощник сможет звонить от имени пользователя и естественно беседовать с оппонентом. Например, чтобы записаться в парикмахерскую.

https://youtu.be/2D-8NsZuhHY

Ещё Assistant понимает несколько запросов сразу и научился командам Actions on Google. То есть может управлять гаджетами из «умного» дома. Всего дружественных устройств насчитывается около 5 000.

Кстати, отныне фразу «Окей, Google» нужно произносить только в начале беседы. А самое приятное — это то, что ассистент станет доступен в России до конца года.

Gmail

Электронной почте досталась функция Smart Compose, которая подразумевает «умный» набор текста и ответы: приветствия, заключительные реплики и характерные фразы. Обещано соблюдение контекста и правописания. Отметим, что подсказки можно игнорировать.

Всё это стало возможным благодаря машинному обучению. Рядовые пользователи получат апдейт Gmail до конца месяца.

Photos

Пожалуй, наиболее интересным апдейтом сервиса стало раскрашивание черно-белых фотографий с помощью ИИ. Приложение автоматически проанализирует кадр и предложит несколько вариантов расцветки.

Кроме того, в Google Photos расширена система подсказок. Теперь можно быстро получить совет по настройке экспозиции или архивированию.

Все нововведения появятся к сентябрю.

News

Агрегатор новостей создан на основе имеющегося сервиса. Главной особенностью новинки стало наличие искусственного интеллекта, который анализирует интересы пользователя и выбирает по 5 подходящих заметок в формате Newscasts. По сути, это отображение материала в виде карточек с текстом, снимком или видеороликом.

Кроме новостных материалов, читатель увидит в Google News «свежатинку» из каналов на YouTube и Google+, если имеет подписки. Релиз на Android и iOS состоится в мае.

Lens

Приложение покажет больше сведений о вещах и явлениях в окружающем мире. К примеру, узнает марку лампы, поможет найти и скопировать сведения об этом предмете интерьера.

Обновление Google Lens выйдет к концу месяца.

Maps

Картографический ресурс приобщился к дополненной реальности благодаря Visual Positioning System. Новая система объединяет местность, расположение, камеру и изображения Street View. В результате человек видит AR-подсказки в режиме реального времени.

Глобальный доступ к усовершенствованиям Google Maps откроется летом.

На этом мы закончим повествование. Будем ждать репортажей от Валерия Истишева с места событий.

Валерий Истишев отправился на мероприятие в Париже, чтобы рассказать о новых флагманах китайской компании.

Напомним, что смартфоны P20 и P20 Pro получили интересные расцветки корпуса, камеры от Leica и водозащиту.

Как и ожидалось, сегодня компания презентовала в Париже новые флагманы, чьи фотовозможности усилены искусственным интеллектом. Например, есть 3D-моделирование лиц.

P20 достались: 5,8-дюймовый LCD-дисплей с разрешением 2560 x 1440 точек, процессор Kirin 970, 4 Гб ОЗУ, батарейка 3 400 мАч, быстрая зарядка, основная камера 12 Мп + 20 Мп от Leica, фронтальная камера 24 Мп, стереодинамики, дактилоскоп в кнопке Home, NFC, порт USB Type-C, защита от брызг на уровне IP53, 2 слота для SIM-карт, Android Oreo под оболочкой EMUI 8.1.

P20 Pro получил 6,1-дюймовый AMOLED-экран с разрешением 2244 x 1080 пикселей и соотношением сторон 18,7:9, процессор Kirin 970 с отдельным нейросетевым модулем, 6 ГБ оперативной и 128 ГБ встроенной памяти, аккумулятор 4 000 мАч, тройную основную камеру 8 Мп + 20 Мп + 40 Мп, 10-кратный цифровой зум, защиту от воды по стандарту IP67.

Продажи начнутся до конца марта. Младший флагман Huawei обойдется в 649 евро, старший — 899 евро.

https://youtu.be/CXfOZpe4Uww

Источник: Huawei, Huawei

Экспериментальное подразделение C-Lab, входящее в состав южнокорейской компании, рассказало о том, над чем работает. Одним из наиболее интересных направлений стал эмоциональный 3D-помощник.

По словам создателей, Aurora умеет всё то же, что и прочие виртуальные ассистенты в гаджетах, однако коммуникация с искусственным интеллектом сосредоточена на визуальных и голосовых составляющих. Например, “компаньон” услышит запрос на поиск новых кроссовок, покажет ассортимент и поймет через камеру смартфона, что “хозяин” жестами пролистывает варианты.

https://www.youtube.com/watch?v=Lqv-Vkr2eHo

Демонстрация новинок из лаборатории Samsung произойдет на фестивале SXSW 2018 в Остине с 11 по 14 марта.

Источник: Samsung