Нейросети сейчас называют новым электричеством. Мы их не замечаем, но пользуемся каждый день. Face ID в iPhone, умные ассистенты, сервисы перевода, и даже рекомендации в YouTube — всё это нейросети. Они развиваются настолько стремительно, что даже самые потрясающие открытия выглядят как обыденность.

Например, недавно в одном из самых престижных научных журналов Nature опубликовали исследование группы американских ученых. Они создали нейросеть, которая может считывать активность коры головного мозга и преобразовывать полученные сигналы в речь. С точностью 97 процентов. В будущем, это позволит глухонемым людям «заговорить».

И это только начало. Сейчас мы стоим на пороге новой технической революции сравнимой с открытием электричества. И сегодня мы объясним вам почему.

Как работают нейросети?

Центральный процессор — это очень сложный микрочип. Он умеет выполнять выполнять кучу разных инструкций и поэтому справляется с любыми задачами. Но для работы с нейросетями он не подходит. Почему так?

Сами по себе нейросетевые операции очень простые: они состоят всего из двух арифметических действий: умножения и сложения.

Например, чтобы распознать какое-либо изображение в нейронную сеть нужно загрузить два набора данных: само изображение и некие коэффициенты, которые будут указывать на признаки, которые мы ищем. Эти коэффициенты называются весами.

Вот например так выглядят веса для рукописных цифр. Похоже как будто очень много фоток цифр наложили друг на друга.

А вот так для нейросети выглядит кошка или собака. У искусственного интеллекта явно свои представления о мире.

Но вернёмся к арифметике. Перемножив эти веса на исходное изображение, мы получим какое-то значение. Если значение большое, нейросеть понимает:

— Ага! Совпало. Узнаю, это кошка.

А если цифра получилась маленькой значит в областях с высоким весом не было необходимых данных.

Вот как это работает. Видно как от слоя к слою сокращается количество нейронов. В начале их столько же сколько пикселей в изображении, а в конце всего десять — количество ответов. С каждым слоем изображение упрощается до верного ответа. Кстати, если запустить алгоритм в обратном порядке, можно что-нибудь сгенерировать.

Всё вроде бы просто, да не совсем. В нейросетях очень много нейронов и весов. Даже в простой однослойной нейросети, которая распознает цифры на картинках 28 x 28 пикселей для каждого из 10 нейронов используется 784 коэффициента, т.е. веса, итого 7840 значений. А в глубоких нейросетях таких коэффициентов миллионы.

CPU

И вот проблема: классические процессоры не заточены под такие массовые операции. Они просто вечность будут перемножать и складывать и входящие данные с коэффициентами. Всё потому, что процессоры не предназначены для выполнения массовых параллельных операций.

Ну сколько ядер в современных процессорах? Если у вас восьмиядерный процессор дома, считайте вы счастливчик. На мощных серверных камнях бывает по 64 ядра, ну может немного больше. Но это вообще не меняет дела. Нам нужны хотя бы тысячи ядер.

Где же взять такой процессор? В офисе IBM? В секретных лабораториях Пентагона?

GPU

На самом деле такой процессор есть у многих из вас дома. Это ваша видеокарта.

Видеокарты как раз заточены на простые параллельные вычисления — отрисовку пикселей! Чтобы вывести на 4K-монитор изображение, нужно отрисовать 8 294 400 пикселей (3840×2160) и так 60 раз в секунду (или 120/144, в зависимости от возможностей монитора и пожеланий игрока, прим.ред.). Итого почти 500 миллионов пикселей в секунду!

Видеокарты отличаются по своей структуре от CPU. Почти всё место в видеочипе занимают вычислительные блоки, то есть маленькие простенькие ядра. В современных видюхах их тысячи. Например в GeForce RTX2080 Ti, ядер больше пяти тысяч.

Всё это позволяет нейросетям существенно быстрее крутиться GPU.

Производительность RTX2080 Ti где-то 13 TFLOPS (FLOPS — FLoating-point Operations Per Second), что значит 13 триллионов операций с плавающей запятой в секунду. Для сравнения, мощнейший 64-ядерный Ryzen Threadripper 3990X, выдаёт только 3 TFLOPS, а это заточенный под многозадачность процессор.

Триллионы операций в секунду звучит внушительно, но для действительно продвинутых нейронных вычислений — это как запустить FarCry на калькуляторе.

Недавно мы игрались с алгоритмом интерполяции кадров DAIN, основанном на машинном обучении. Алгоритм очень крутой, но с видеокартой Geforce 1080 уходило 2-3 минуты на обработку одного кадра. А нам нужно чтобы подобные алгоритмы работали в риалтайме, да и желательно на телефонах.

TPU

Именно поэтому существуют специализированные нейронные процессоры. Например, тензорный процессор от Google. Первый такой чип в Google сделали еще в 2015 году, а в 2018 вышла уже третья версия.

Производительность второй версии 180 TFLOPS, а третьей — целых 420 TFLOPS! 420 Триллионов операций в секунду. Как они этого добились?

Каждый такой процессор содержит 10-ки тысяч крохотных вычислительных ядер, заточенных под единственную задачу складывать и перемножать веса. Пока, что он выглядит огромным, но через 15 лет он существенно уменьшится в размерах. Но это еще фигня. Такие процессоры объединяться в кластеры по 1024 штуки, без каких либо просадок в производительности. GPU так не могут.

Такой кластер из тензорных процессоров третьей версии могут выдать 430 PFLOPS (пета флопс) производительности. Если что, это 430 миллионов миллиардов операций в секунду.

Где мы и что нас ждёт?

Но как мы уже говорили, это только начало. Текущие нейронные суперкомпьютеры — это как первые классические мейнфреймы занимавшие, целые этажи в зданиях.

В 2000 году первый суперкомпьютер с производительностью 1 терафлопс занимал 150 квадратных метров и стоил 46 миллионов долларов.

Спустя 15 лет NVIDIA мощностью 2?3 терафлопса, которая помещается в руке стоит 59$.

Так что в следующие 15-20 лет суперкомпьютер Google тоже поместится в руке. Ну или где мы там будем носить процессоры?

А мы пока ждём момента, довольствуемся нейромодулями в наших смартфонах — в тех же Qualcomm Snapdragon’ах, Kirin’ах от Huawei и в Apple Bionic — они уже тихо делают свою работу.

И уже через несколько презентаций они начнут меряться не гигагерцами, ядрами и терафлопсами, а чем-то понятным для всех — например, распознанных котиках в секунду. Всё лучше, чем попугаи!

Сейчас во все мобильные процессоры впихивают нейронные модули. Neural Engine в процессорах Apple, DaVinci NPU у HUAWEI, AI Engine в Snapdragon’ах. Но что полезного они делают реально непонятно. Обычно всё сводится к всевозможным безумным бьютификациям и улучшайзерам.

Но нейронки сейчас могут творить абсолютно невероятную дичь! И могут нехило прокачать возможности наших смартфонов.

Сегодня мы покажем для чего в будущем будет использоваться нейронный модуль внутри вашего смартфона и какие крутые фишки можно делать уже сейчас!

Obstructional Removal

Начнем с камеры! Сейчас в приложении камеры на любом телефоне, есть масса бесполезных и “интеллектуальных” фич, типа определение сцены. Вот собачка, а вот цветочек говорит нам искусственный интеллект. И что? Мы это и так знаем!

Но вот чего не хватает, так это вот этой штуки: нейросеть удаляет с фотографий мешающие отражения и различные преграды, типа сетчатых заборов. Незаменимая вещь для любителей пофотографировать стройки и зоопарки.

Работает это очень интересно. Рассмотрим пример с отражением.

Во-первых, для того чтобы всё получилось нужно несколько кадров. Зачем? Чтобы вычислить оптический поток пикселей, т.е. движение в кадре. Дальше нейронка понимает, ага вот эти пиксели движутся что-то совсем не туда. Значит это отражение.

А дальше начинается настоящая магия. На основе данных о движении, нейронка восстанавливает два изображения: фон и отражение. Дальше вычитает отражение из фона и готово!

Думаете, такие фичи в смартфонах появятся еще не скоро. Обрадую вас, например в HUAWEI P40 Pro уже показали подобную функцию. Назвали это всё очень по-азиатски — Golden Snap. Она умеет удалять отражения и даже лишних людей из кадра! По-моему неплохо, ждём теперь реализацию от Гугла а потом и всё подтянутся!

Real Time Person Removal

Кстати, уже есть нейронка которая убирает людей из видео! В реалтайме! Вот тебе и кибер версия социального дистанцирования.

Алгоритм, таскающий картинки

Но мы то с вами что в кадре может мешать не только забор или человек. В кадре может быть лишним вообще всё! В этом случае поможет вот эта волшебная нейросеть.

Как это чудо работает? В нейронную загружается две вещи, изображение и разбивка на объекты в виде масок. То есть немного руками всё равно придётся поработать, но зато потом начинается настоящая услада.

Сначала нейронка определяет порядок объектов. Потом додумавает форму перегороженных объектов. А щзатем достраивает их!

Дальше остается только наслаждаться: можно передвигать объекты по кадру, менять их порядок, удалить всё что хочешь, и даже добавлять на снимок что-то новое.

Ну что тут скажешь, ждем когда алгоритм научат самостоятельно определять границы объектов и можно заворачивать в мобильное приложение. Революция фотожаб не за горами.

Кекфейс

И напоследок, из того что можно пощупать прямо сейчас! Есть масса нейросетей, оживляющих фотки. Но чтобы поиграться с ними нужно копаться на GitHub или в лучшем случае веб-интерфейсе, короче неудобно.

Но вот недавно появился бот в Телеграм @EORA_kekface_bot, который из любой фотки делает прикольные анимированные гифки. Зачем нужны анимоджи? Если можно свой набор стикеров на все случаи жизни.

Как думаете кто из крупных компаний первый догадается что-то такое сделать? Я ставлю на Samsung или HUAWEI, не всё же им за Apple повторять.

Итоги

Естественно, то о чём мы рассказали — это капля в море. В плене нейронок, что-то интересное происходит каждый день.

Например недавно Google показал чат-бот, который умеет осознанно общаться на любые темы! И его не отличить от человека.

Ребята сделали дипфейк Илона Маска в Zoom’е. То есть можно им стать, общаясь с друзьями в видеочате.

А еще, добрые люди омолодили, Мону Лизу и, “наше всё” Александра Сергеевича Пушкина.

Кстати мы, много подсмотрели на канале Neural Shit в Telegram.

Компания решила выпустить Зеленого робота с пирогом в качестве официального десерта именно сегодня.

Напомним, что Android 9.0 Pie обладает нативной поддержкой «моноброви», переработанным экраном многозадачности, интуитивной функцией Do Not Disturb и множеством других нововведений.

Первыми смартфонами, которые получат юбилейную ОС по воздуху, стали линейка Pixel и Essential Phone. Кстати, файлы заводской прошивки для «пиксельфонов» уже доступны на сайте Google.

Далее до конца осени обновление будет доступно обладателям моделей из линейки Android One, Xperia XZ2 от Sony, Mi Mix 2S от Xiaomi, Nokia 7 Plus от HMD Global, R15 Pro от Oppo, X21 от Vivo и OnePlus 6.

Источник: Android

Борис Веденский рассказывает и показывает особенности свежеанонсированной Android 9.0 P, а также сравнивает с ОС от Apple.

Напомним, что в марте на канале Droider уже выходил видеообзор, посвященный новинке от Google.

Как и было заявлено, сегодня стартовала I/O в Калифорнии. Посмотреть прямой эфир с Борисом Веденским можно было тут. А мы расскажем о самых горячих анонсах своими словами.

Android P

Напомним, что в 2018 году операционная система отмечает 10 лет, поэтому команда Google постаралась для того, чтобы Android P получился запоминающимся. Кроме того, о чем было рассказано на канале Droider, от новейшего Зеленого робота стоит ожидать:

• функция Adaptive Brightness подстраивает яркость экрана под программы и окружение;
• функция Do Not Disturb помогает отойти ко сну, приглушая цвета дисплея до монохромного;
• функция Slices делает поиск более полезным, предоставляя дополнительные сведения. Если написать «Uber», то продемонстрируется не только история компании, но и расположение ближайших такси;
• меню Dashboard отображает время пользования гаджетом и приложениями. Доступ к некоторым ресурсам можно ограничить. Это создано для того, чтобы бороться с зависимостью от смартфонов и социальных сетей;
• карточки приложений перемещаются горизонтально, а не вертикально;
• управление с помощью жестов на навигационной панели внизу экрана;
• уведомления отображают не только последнее, то и несколько предшествующий сообщений для понимания контекста;
• оптимизация расхода зарядки в зависимости от привычек владельца.

Попробовать Android 9.0 уже могут обладатели Pixel, Sony, Xiaomi, Nokia, OnePlus, Oppo и других мобильных телефонов. Подробнее об участии в бета-тестировании — здесь. Официальный релиз произойдет в июле-сентябре.

Android Things

Новая ОС призвана помочь разработчикам создавать продукты для «интернета вещей». Google проследит за частым и продолжительным (до 3 лет) выходом обновлений, их установкой на устройства без участия пользователя.

Android Things 1.0 совместима с процессорами от Qualcomm, MediaTek и Raspberry. Заинтересованность в проекте уже подтвердили LG, Lenovo и JBL. Аппараты дебютируют уже в 2018 году.

Wear OS

«Операционка» для смарт-часов получила более тесную взаимосвязь с виртуальным Assistant. Например, есть отображение на дисплее подсказок по запросу и последующее поддержание диалога через динамик или Bluetooth-наушники.

Assistant

Сундар Пичаи, глава корпорации, поведал о технологии Duplex, в рамках которой голосовой помощник сможет звонить от имени пользователя и естественно беседовать с оппонентом. Например, чтобы записаться в парикмахерскую.

https://youtu.be/2D-8NsZuhHY

Ещё Assistant понимает несколько запросов сразу и научился командам Actions on Google. То есть может управлять гаджетами из «умного» дома. Всего дружественных устройств насчитывается около 5 000.

Кстати, отныне фразу «Окей, Google» нужно произносить только в начале беседы. А самое приятное — это то, что ассистент станет доступен в России до конца года.

Gmail

Электронной почте досталась функция Smart Compose, которая подразумевает «умный» набор текста и ответы: приветствия, заключительные реплики и характерные фразы. Обещано соблюдение контекста и правописания. Отметим, что подсказки можно игнорировать.

Всё это стало возможным благодаря машинному обучению. Рядовые пользователи получат апдейт Gmail до конца месяца.

Photos

Пожалуй, наиболее интересным апдейтом сервиса стало раскрашивание черно-белых фотографий с помощью ИИ. Приложение автоматически проанализирует кадр и предложит несколько вариантов расцветки.

Кроме того, в Google Photos расширена система подсказок. Теперь можно быстро получить совет по настройке экспозиции или архивированию.

Все нововведения появятся к сентябрю.

News

Агрегатор новостей создан на основе имеющегося сервиса. Главной особенностью новинки стало наличие искусственного интеллекта, который анализирует интересы пользователя и выбирает по 5 подходящих заметок в формате Newscasts. По сути, это отображение материала в виде карточек с текстом, снимком или видеороликом.

Кроме новостных материалов, читатель увидит в Google News «свежатинку» из каналов на YouTube и Google+, если имеет подписки. Релиз на Android и iOS состоится в мае.

Lens

Приложение покажет больше сведений о вещах и явлениях в окружающем мире. К примеру, узнает марку лампы, поможет найти и скопировать сведения об этом предмете интерьера.

Обновление Google Lens выйдет к концу месяца.

Maps

Картографический ресурс приобщился к дополненной реальности благодаря Visual Positioning System. Новая система объединяет местность, расположение, камеру и изображения Street View. В результате человек видит AR-подсказки в режиме реального времени.

Глобальный доступ к усовершенствованиям Google Maps откроется летом.

На этом мы закончим повествование. Будем ждать репортажей от Валерия Истишева с места событий.

Валерий Истишев отправился на мероприятие в Париже, чтобы рассказать о новых флагманах китайской компании.

Напомним, что смартфоны P20 и P20 Pro получили интересные расцветки корпуса, камеры от Leica и водозащиту.

Как и ожидалось, сегодня компания презентовала в Париже новые флагманы, чьи фотовозможности усилены искусственным интеллектом. Например, есть 3D-моделирование лиц.

P20 достались: 5,8-дюймовый LCD-дисплей с разрешением 2560 x 1440 точек, процессор Kirin 970, 4 Гб ОЗУ, батарейка 3 400 мАч, быстрая зарядка, основная камера 12 Мп + 20 Мп от Leica, фронтальная камера 24 Мп, стереодинамики, дактилоскоп в кнопке Home, NFC, порт USB Type-C, защита от брызг на уровне IP53, 2 слота для SIM-карт, Android Oreo под оболочкой EMUI 8.1.

P20 Pro получил 6,1-дюймовый AMOLED-экран с разрешением 2244 x 1080 пикселей и соотношением сторон 18,7:9, процессор Kirin 970 с отдельным нейросетевым модулем, 6 ГБ оперативной и 128 ГБ встроенной памяти, аккумулятор 4 000 мАч, тройную основную камеру 8 Мп + 20 Мп + 40 Мп, 10-кратный цифровой зум, защиту от воды по стандарту IP67.

Продажи начнутся до конца марта. Младший флагман Huawei обойдется в 649 евро, старший — 899 евро.

https://youtu.be/CXfOZpe4Uww

Источник: Huawei, Huawei

Откуда всё пошло?

Пользователь Reddit под псевдонимом Deepfakes устроил “социальный эксперимент”: научил нейронную сеть менять физиономии в порнографических фильмах.

Первой “маской” стала Галь Гадот. Результат не выглядел естественным на 100%, но он лучше того, что демонстрировалось ранее на тематических ресурсах.

Далее появилось приложение FakeApp от юзера Deepfakeapp. Как только общественность прознала о бесплатном механизме, интернет наводнили ролики, где одним звездам “надевали” лица других. Неожиданных для себя ролей не избежали Скарлетт Йоханссон, Эмма Уотсон, Джессика Альба и прочие популярные актрисы.

Контент 18+, получивший в народе название CelebFakes, не трудно найти на форуме. Вас предупредили.

При чем тут Николас Кейдж?

Наигравшись с “клубничкой”, энтузиасты переключились на мемы. Первым, о ком вспомнили, стал голливудский актер. Благодаря нехитрым манипуляциям Николас Кейдж успел побывать даже в женском амплуа.

Можно смело утверждать, что скоро в забавных ситуациях окажутся и иные публичные персоны. Живые или мертвые.

Даже такое уже было?

Пользователь под ником Z3ROCOOL22 с помощью тех же алгоритмов создал “идеального политика” через смешение съемок Маурисио Макри и Адольфа Гитлера.

Не хотелось бы накалять атмосферу, но шуточная работа позволяет оценить силу машинного обучения в качестве орудия “черного PR” или политической пропаганды.

И что теперь?

Несмотря на то, что сайты уже начали удалять эротические короткометражки и gif-картинки, сработал эффект Барбары Стрейзанд. Поэтому затруднительно обозначить даже приблизительные объемы фейкового материала.

С одной стороны, нейросети — это развлечение, где можно проявить креативность или воплотить фантазию, используя информацию из открытых источников и искусственный интеллект.

С другой стороны, подрывается доверие к сведениям, публикуемым в интернете, поскольку затруднительно проверить правдивость того, что видишь.

С третьей стороны, есть проблемы обычных людей. Не секрет, что в социальных сетях процветает порно-месть. Это когда бывший партнер выкладывает “домашнее видео” с экс-возлюбленным без спроса. Теперь благодаря общедоступным инструментам, которые становятся всё проще в использовании, перестанет иметь значение — существовал ли ролик изначально. Проще говоря, если работодатель поищет в Google и обнаружит интим-клип с женщиной, одетой в школьницу, то не станет искать истину, а откажет соискателю на должность учителя географии.

Однако спрос рождает предложение. Логично предположить, что появится простое ПО для определения подлинности видеоряда, а также адекватная законодательная база.

Сейчас авторы “пародий” могут заранее указать на первоисточник контента и поддельность содержания. Получается, что правонарушений, за которые могли бы зацепиться адвокаты киностудий и знаменитостей, как бы и нет вовсе. Так что юристам из будущего придется серьезно потрудиться.

Источник: Motherboard

Конференция проходит в Сиэтле с 10 по 12 мая. Сегодня презентация длилась 3 часа, однако крупных анонсов не случилось. Зато компания из Редмонда похвасталась, что Windows 10 (в том числе Mobile) используют 500 миллионов человек, а Cortana — 141 миллион пользователей.

Рассмотрим ключевые моменты:

1. Здесь стоит упомянуть о первом появлении на публике «умной» колонки Invoke. Главными особенностями (из того, что известно) являются 360-градусный звук от Harman Kardon, поддержка Cortana и сенсорная макушка.
2. Другие компании, вроде Hewlett-Packard и Intel, не останутся в стороне и тоже начнут производить акустические системы с Cortana на борту.
3. Чтобы популяризировать виртуального ассистента, Microsoft выпустила Cortana Skills Kit. Инструмент поможет встраивать голосового помощника в приложения и автомобильные системы.
4. У Cortana, Bing, Skype и других программ будут адаптивные карточки, в которых контент отображается одинаково.
5. Стабильная версия Visual Studio 2017 стала доступна для Mac. Теперь разработчики смогут создавать кросс-платформенные проекты.
6. В PowerPoint появился инструмент для перевода текста в режиме реального времени. Называется Presentation Translator.
7. Создан чат Teams для корпоративной работы. Компании смогут выпускать для него ботов и расширения. Уже отметилась Adobe.
8. Выпущена облачная база данных Cosmos DB для сервисов и приложений, которая распределяет информацию по всей планете. Уже тестируется магазином Jet.
9. В Outlook добавится функция Actionable Messages. Таким образом не обязательно нужно покидать почту, чтобы, например, написать в Twitter.
10. Microsoft продемонстрировала Video Indexer. С помощью этого инструмента можно искать по контенту внутри ролика. Новинка узнает предметы, персонажей и выражения лиц. А ещё умеет переводить голос в текст на 8 языках.
11. Платформа Azure получила наиболее серьезный апдейт: IoT Edge (для управления «умными» девайсами разной сложности), Batch AI Training (для обучения глубоких нейросетевых моделей) и Cloud Shell (для администрирования систем через командную строку). А ещё обновились приложения на iOS и Android.

Напомним, что эксперты ожидают от Build 2017: новые дизайны Windows 10 и браузера Edge, гарнитуру смешанной реальности HoloLens, рассекречивание Project Neon и нечто, связанное с чат-ботами. Всё это ещё может быть продемонстрировано в ближайшие дни.

Российские разработчики из Magic Unicorn Inc выпустили приложение для смартфонов, которое распознает простые эмоции или движения с помощью нейронных сетей и «приклеивает» на видеоряд соответствующую анимацию. Программа основана на достижениях стартапа FacioMetrics, купленного Facebook.

Magic может производить все манипуляции с точностью в 85% и без подключения к интернету.

Версию для iOS уже можно бесплатно скачать. Вариант для Android появится в июне.