Среднестатистический человек может идентифицировать знакомое лицо в толпе с точностью 97,53%. Вы скажете, это немало и будете правы. Но это ничто по сравнению с современными алгоритмами, которые добились точности 99,8% еще в 2014 году. А в последние несколько лет они достигли практически совершенства! Современный алгоритм, использующийся в камерах видеонаблюдения в Москве способен обрабатывать 1 миллиард изображений менее чем за полсекунды с точностью близкой к 100%.

Этот алгоритм насколько крут, что уже в этом году в Московском Метро планируют ввести систему прохода по лицу — FacePay. При этом нам обещают, что система будет работать даже если человек в медицинской маске.

Как вы понимаете, жизнь уже не будет прежней. Поэтому давайте разберемся:

• Как работают алгоритмы распознавания лиц?
• Страшны ли эти алгоритмы на самом деле и где их применяют во благо?
• А также поговорим какого будущего нам ждать.

Причины

Технологии машинного зрения и распознавания лиц развивались очень активно с середины прошлого века. Но только сейчас стали по-настоящему хорошо работать. Причин тому три штуки:

1. Появились действительно мощные компьютеры, способные справиться с задачей. За это спасибо закону Мура.
2. Появились базы данных с нашими с вами фотографиями. За что спасибо социальным сетям.
3. Ну и конечно, произошел прорыв в области нейросетей.

Все эти события позволили создать практически идеальные алгоритмы распознавания лиц. Так давайте же разберемся, как они работают.

Этап 1. Обнаружение

В первую очередь, для того, чтобы лицо распознать, надо его сначала обнаружить. Задача на самом деле не тривиальная. Для этого мы бы могли использовать натренированные нейросети, но это слишком долго, дорого и ресурсоемко. Поэтому для обнаружения лица используется очень простой метод Виолы — Джонса, разработанный еще в 2001 году.

Как эта штука работает?

Этот алгоритм просто сканирует изображение при помощи вот таких прямоугольников, они называются примитивами Хаара:

И еще вот таких прямоугольников:

Задача этих объектов — находить более светлые и темные области на изображении, характерных конкретно для человеческих лиц.

Например, если усреднить значения яркости область глаз будет темнее щек или лба, а переносица будет светлее бровей.

В общем таких характерных признаков много и естественно не только у человеческих лиц могут быть подобные паттерны. Поэтому алгоритм работает в несколько этапов:

Сначала находится первый признак, система понимает: «В этой области может быть лицо». Тогда она начинает там же искать второй признак, а потом третий. И если в одной области найдено 3 признака, уже можно уверенно сказать — да, это лицо! После чего система получает область изображения, в котором есть только лицо.

Этап 2. Антропометрические точки

Получив область для анализа, дальше в дело вступает главный секрет каждой системы распознавания — биометрический алгоритм.

Он расставляет на лице антропометрические точки, по которым впоследствии и будут вычисляться индивидуальные характеристики человека: разрез глаз, форма носа, подбородка, расстояние между ними и прочее. Таких признаков может быть много, вплоть до нескольких тысяч. Но в целом, таких точек должно быть как минимум 68.

Этап 3. Исправление искажений

А дальше начинается настоящая магия. В идеале нам нужно лицо, которое смотрит анфас, то есть прямо в камеру. Но такая удача бывает редко, особенно если речь идет о распознавании человека в толпе.

Поэтому система производит дополнительное преобразование изображения: устранятся поворот и наклон головы. А также проводится 3D-реконструкция лица из 2D-изображения. Таким образом, даже если человек на изображении смотрел вбок, мы всё равно можем получить четкий фронтальный снимок, что существенно повышает качество распознавания.

Этап 4. Вектор лица

Ну а дальше происходит самое главное. В бой вступает нейросеть, которая присваивает каждому лицу вектор признаков. Что это такое?

По сути, это просто какое-то число, которое складывается из суммы характеристик лица: расстояний между опорными точками, текстуры определенных областей на лице и прочее. Таких характеристик может быть множество. Основное правило: они должны описывать лицо независимо от посторонних факторов: макияжа, прически, возрастных изменений.

Этап 5. Идентификация

Ну а дальше остаётся сравнить полученный вектор с базой других векторов. И готово. Система вас идентифицировала.

Где и как используется?

Помимо очевидных кейсов применения, помимо обнаружения правонарушителей в общественных пространствах и оплаты билетов в метро. Где и как могут применяться эти технологии?

Во-первых, системы могут быть настроены не на идентификацию а на анализ поведения или настроения. В такси можно можно быстро вычислять неадекватных водителей или пассажиров. В магазинах, можно находить грустных покупателей и повышать уровень сервиса. Ритейлеры одежды или продуктовые магазины используют камеры для анализа поведения покупателя, чтобы проанализировать настроение покупателя на кассе. Или например в школах, можно искать скучающих детей и корректировать программу обучения. Так, кстати уже делают в Китае. Вот такой мир будущего, и мы уже в нём живём не зная этого.

Cisco

Также есть просто огромный пласт применения в бизнесе. К примеру, Cisco активно использует распознавание лиц в своих продуктах для конференций и совместной работы. Например, Cisco Webex умеет распознавать лица сотрудников на больших общи[ онлайн-конференциях и подписывать их имена, что очень полезно для крупных компаний.

Но самая крутая фича — это People Focus. Эта технология распознает лица и силуэты людей и оптимально подстраивает верстку приложения, чтобы всех было видно. И даже если в кадре сидят несколько человек, они всё равно будут распознаны и показаны в отдельном окошке с указанием имени. Вот бы в умные очки такую фичу!

Также распознавание лиц, активно используется не только в приложении Webex, но и в различных Webex-устройствах: это различные умные экраны, моноблоки, веб-камера и прочее оборудование, которое используется в переговорных, конференцзалах или даже индивидуальные кабинеты.

Так при помощи Webex-устройств можно считывать эмоции сотрудников на собраниях, собирать статистику о посещениях и реакции и много всего другого. В общем, ребята точно опережают время в корпоративном секторе.

Что будет в будущем?

Чего же нам ждать в будущем? Распознавание лиц для разблокировки iPhone, входа в Windows или во время конференций — это прекрасная, удобная технология, упрощающая жизнь и мы уже ей пользуемся. Но вот повсеместные камеры наблюдения в городах рисуют в воображении самые мрачные картины в духе Джорджа Оруэлла.

Отсюда возникает вопрос — можно ли защитить себя от систем видеонаблюдения? Конечно, с развитием технологий развиваются и средства обхода этих технологий.

Люди придумывают макияж и украшения, которые сбивают с толку алгоритм обнаружения лиц, тот самый из 2001 года, создают инфракрасные очки, засвечивающие сенсоры камер, а также делают всякую криповую одежду и маски.

Но по большому счету такой лук скорее больше привлечет внимания, а алгоритмы подстроятся под обманки. Поэтому единственный способ защиты — это закон. Бизнес активно не внедряет системы распознавания лиц только потому, что это несет большие юридические издержки. В ЕС активно разрабатывается новый закон, который уже прозвали GDPR 2: он будет строго регулировать системы распознавания лиц и прочие системы искусственного интеллекта, вызывающие законные опасения.

В России с этим пока что не так хорошо. Тем не менее отечественные компании, которые присутствуют на международном рынке также будут вынуждены соблюдать новые правила игры, как произошло с первым GDPR.

То есть, как вы поняли, есть светлая сторона технологии, которая упрощает нам жизнь и темная, что приближает нас к миру большого брата.

Мы находимся в уникальной точке, когда трудно понять увидев два снимка — какой из них снят на смартфон, а какой на профессиональный фотоаппарат?

Но как так получилось, что смартфоны стали снимать настолько хорошо? Сегодня мы разберем как работает цифровая фотография на глубоком уровне. Соберём ведро света и узнаем в чём суть квантовой эффективности!

Для начала давайте разберемся, как так происходит, что в объектив камеры попадает свет, а на выходе мы получаем красивенький цветастый снимок? И для простоты, сразу начнем с аналогии. Внутри любой цифровой камеры установлена матрица, которая состоит из миллионов пикселей. Так вот пиксели эти, по своей сути, похожи на ведра только собирают они не капельки дождя, а частички света.

Что я имею ввиду?

Главный элемент каждого пикселя — это фотодиод. Это такой кусочек кремния, обладающий чудесным свойством — когда на него попадает фотон света, он высвобождает электрон. Задача камеры собрать все эти электроны и подсчитать их. Но зачем подсчитывать электроны и как вообще это происходит?

Пока мы делаем фотографию — этот процесс называется экспонирование — каждый высвобожденный электрон скапливается в некой ловушке — потенциальной яме. А когда экспонирование закончено мы замеряем сколько электронов скопилось. Так мы понимаем сколько света попало на пиксель и насколько ярким он должен быть.

Если вернуться к аналогии с ведром. Если оно наполнено электронами доверху — значит пиксель будет белый, то есть иметь 100% яркость. А если ведро наполнилось наполовину, то яркость будет 50%. Так, подсчитав сколько электронов высвободил каждый пиксель, мы можем составить изображение.

Но чтобы изображение получилось качественным, нам важны две вещи. Первая — чтобы объем ведра был большим, то есть оно были глубоким. Потому что иначе оно будет быстро переполняться, электроны полезут через край и вместо полезной информации мы получим просто засвеченный пиксель.

Также для нас важно, чтобы в ведро поступало много света. Потому как даже в самых лучших матрицах, ведра собирающие электроны, скажем так, не очень чистые. Там всегда есть довольно солидный осадок паразитных электронов, которые на фотографии проявляются в виде шума. Откуда он берется?

Во-первых, сама матрица по умолчанию немного шумит. Поэтому, даже если никакого света на матрицу не поступает, в наших ведрах всегда будет сколько-то электронов.

Во-вторых, свет может просто переотразиться и прилететь к вам с соседнего пикселя. Это называется перекрестный ток.

Поэтому в случае, когда мы фотографируем днём и наши ведра заполнены светом, мы можем легко отделить сигнал от шума. Просто потому что сигнала намного больше чем шума.

А когда мы фотографируем в темноте и фотонов поступает очень мало, отделить сигнал от шума становится очень сложно.

Исходя из сказанного выше, мы можем сделать достаточно простые выводы. Для того чтобы у нас получились классные фотографии нам нужно:

• Чтобы у пикселя была большая площадь. Тогда он сможет улавливать больше фотонов света.
• Чтобы у пикселя была большая емкость. Тогда он сможет удерживать больше электронов и это повысит динамический диапазон, то есть будут детали и в светах, и в тенях.
• Нам надо много пикселей, чтобы картинка была детализированной.

Как соблюсти все три условия? Ответ простой: нам нужна большая матрица с большими пикселями!

Но в смартфонах большую матрицу разместить невозможно, поэтому даже самые крупные матрицы в смартфонах проигрывают по размерам полнокадровым фотоаппаратом в десятки раз.

• Galaxy S20 Ultra 108MP 0.8µm. 1/1.33″. ~69.5mm²
• Pixel 4, iPhone 11 12MP 1.4µm. 1/2.55″. ~23.9mm².
• Full Frame, 30.1MP 5.36 µm 36×24 mm, 864mm2

Получается безоговорочная победа фотоаппаратов. Но почему же мы не видим в больших фотоаппаратах в десятки раз выше светочувствительность, в десятки раз меньше шума и выше динамический диапазон?

Квантовая эффективность

И вот тут начинается самое интересное. Как и в других сферах жизни, кроме размера есть масса иных важных факторов. И тут я имеею ввиду такую штуку как квантовая эффективность пикселя. Что это такое?

Дело в том, что фотодиоды не идеальны. По хорошему, на один поглощенный фотон должен высвобождаться один электрон. Но такое происходит далеко не всегда. Может быть ситуация, что прилетело 10 фотонов, а высвободилось всего 5 электронов. Это значит, что половину фотонов мы вообще никак не использовали и квантовая эффективность в этом случае равна 50%.

В современных полнокадровых беззеркальных камерах Sony, таких как A7S II, A7S III, A7R IV квантовая эффективность колеблется в районе 55-64%. И эти камеры считаются чемпионами по светочувительности и идеально подходят для съемки при низком освещении, астрофотографии и прочего. Владельцы Sony не дадут соврать — классные камеры. Примерно такая же ситуация с камерами Nikon.

60 процентов — звучит неплохо, да? Но по меркам смартфонов такая эффективность — это детский лепет.

Еще пару лет назад квантовая эффективность в смартфонах была 90-100%. А в новых сенсорах ISOCELL от Samsung она достигает 120%! Это значит, что на один поглощенный фотон свет высвобождается в среднем больше 1 электрона! WOW! Этот показатель в 2 раза выше чем современных полнокадровых камерах! То есть матрицы в смартфонах в 2 раза более эффективные!

Ёмкость

Но это только половина дела. Вы заметили, что в прошлом году разрешение камер смартфонов резко скакнуло вверх? Со стандартных 12 Мп до 48, 64 и даже 108 МП. При этом размер пикселей сильно уменьшился с 1,4 мкм (Sony IMX 363), которые до сих пор ставят в смартфоны Pixel, до 0.8 мкм (ISOCELL Bright HM1).

По идее уменьшение размера пикселя должно негативно отразиться на светочувствительности и на динамическом диапазоне. Но этого не произошло. Почему?

Дело в том, что несмотря на то что фотодиоды стали уже, они стали существенно выше и больше по своему объёму.

Поэтому, несмотря на уменьшение размера пикселя, емкость потенциальной ямы для каждого пикселя стала больше. Например, в последних сенсорах Samsung, которые стоят в Galaxy S20 и S21 ёмкость потенциальной ямы 6000 электронов.

А в режиме пиксель биннига, то есть объединения пикселей, емкость увеличивается до 12000 электронов. Для сравнения в больших камерах эта емкость колеблется в районе 25-30 тысяч электронов, то есть разница всего в 2 раза, а не в десятки раз.

Подробнее о том как работает пиксель биннинг мы рассказывали в ролике про 108 МП сенсор в Xiaomi Note 10, посмотрите.

При этом также сильно улучшилось соотношение сигнал/шум. Теперь каждый пиксель стал отгорожен стеной и это позволило избавиться от перекрестных помех.

Поэтому, несмотря на то, что пиксели технически становятся меньше, повышается их эффективность и емкость.

Алгоритмы

Но ключевой козырь мобильной фотографии — это конечно умные алгоритмы.

Google со линейкой своих смартфонов показал, что только за счёт совершенствования своего алгоритма HDR+ они могут из года в год уделывать всех конкурентов даже не меняя сенсор, они используют Sony IMX363, уже три года поряд.

Но в чём суть магии алгоритмов?

Алгоритмы типа HDR+ работают по принципу image stacking, то есть очень быстро делается несколько снимков и склеиваются в один.

За счёт этого получается сильно уменьшить количество шума, просто потому что значения шума усредняются, а также добиться потрясающего динамического диапазона. Благодаря этому преимущество в ёмкости потенциальной ямы у больших сенсоров практически полностью нивелируется.

К примеру, делая фотографию на Google Pixel в режиме Super Res Zoom склеиваются 15 снимков. Это позволяет добиться уровня шума эквивалентного матрице формата APS-C, то есть существенно большего размера.

А в режиме ночной съёмки, при склеивании 9-15 снимков с выдержкой ¼ секунды, мы получаем эквивалент 5-секундной выдержки с большого фотоаппарата. Но при этом на телефон мы снимаем с рук и ничего не смазывается. А на фотоаппарат такие снимки можно сделать только со штатива.

И это только малая часть технологий, которые сейчас применяются в смартфонах. Подробнее о вычислительной фотографии мы говорили в других материалах.

Почему в фотоаппаратах такого нет?

Всё понятно. Технологии в смартфонах продвинулись очень далеко. Но что мешает производителям добавить все эти технологии в большие фотоаппараты?

Например, та же Sony делает матрицы и для смартфонов, и для своих камер. Так в чем проблема? И тут есть несколько причин.

Во-первых, рынок смартфонов существенно более конкурентный и динамичный, чем рынок профессиональных камер. Тут сильно больше игроков, а смартфоны меняют гораздо чаще, чем камеры. Тут инновации происходят каждый год. Ну почти… А в больших фотокамерах, дай бог, раз в пять лет что-то новое покажут. И скорее всего, частично это будут те технологии, которые уже обкатали на смартфонах.

На рынке смартфонов всегда одновременно соревнуется несколько сенсоров, которые по-разному, с точки зрения софта, воплощает несколько компаний. Поэтому все инновации сначала подпадают в смартфоны, а уже потом в профессиональные камеры.

А во-вторых, вы не поверите, но к камерам смартфонов существенно более высокие требования. Потому как большие камеры покупают профессионалы, которые знают и привыкли возиться с постобработкой. А типичный юзер смартфона любит, чтобы нажал кнопку — и шедевр! Поэтому камеры смартфонов, со своими маленькими сенсорами и горе-фотографом просто нуждаются в инновациях. А продвинутые фотокамеры нет.

Итоги

Конечно, я не хочу сказать, что телефоны снимают лучше, чем фотоаппараты. Конечно это не так…

Какими бы ни были инновационными и эффективными матрицы в смартфонах, всё равно света на матрицу будет поступать очень мало, потому как в просто невозможно в смартфон установить большой сенсор и светосильный объектив. Поэтому более профессиональные камеры никуда не денуться. Им всегда найдется применение. Как и мобильным камерам, ведь большой фотик в карман не положишь. Камеры смартфонов очень хороши, но фотоаппараты все равно лучше. Особенно для профи. И про это у нас будет отдельное видео. Не пропустите.

Музыкальный сервис Spotify представил новую серию персонализированных плейлистов «Микс дня», наиболее популярной части каталога Spotify.

Теперь у слушателей появится доступ к трём новым категориям: «Мои миксы: жанры», «Мои миксы: исполнители» и «Мои миксы: десятилетия». Эти плейлисты будут подбираться алгоритмически и обновляться каждый день: найти их можно будет в разделе «Для тебя». Обновления запустятся как в бесплатной версии, так и по подписке Spotify Premium по всему миру.

В дополнение к пяти привычным индивидуальным плейлистам «Микс дня» Spotify выпустил новые миксы в трех разных категориях. Они будут постоянно обновляться, и в каждом можно найти подборку треков по исполнителям, жанрам и музыкальным десятилетиям. Это одновременно и новое звучание, и уже знакомые композиции: подборки будут состоять из любимых треков и рекомендаций песен, которые могут понравиться.

Как раньше было: хотите что-то посмотреть. Включаете телевизор и бесконечно листаете каналы в поисках хоть чего-то приличного.

А сейчас? Нажимаете кнопочку Netflix на пульте, выбираете самую симпатичную превьюшку и вуаля — очередная шедевральная документалка!

А от того насколько хорошо твои вкусы знают сервисы типа Spotify, Яндекс.Музыки вообще становится страшно!

Теперь что вы будете смотреть слушать или даже носить определяете не вы, а алгоритмы рекомендаций. И сегодня мы разберемся как так получилось, что интернет знает чего я хочу, лучше меня самого!

Кажется, что алгоритмы рекомендаций пришли только недавно. Но на самом деле они существуют с 90-х. По настоящему большой прорыв в этой области произошел в 2006 году. Вернемся в него!

А в рассказе нам помонут телевизор Toshiba и смартфон realme 6 Pro.

Всё произошло в США. Тогда еще небольшая, но амбициозная компания по прокату DVD-дисков Netflix уже имела, на тот момент, лучшую модель предсказания оценок пользователей, под названием Cinematch. Показатель RMSE, то есть среднеквадратическое отклонение у этого алгоритма было 0.9525.

Насколько это точно мы не скажем. Но факт в том, что тогда это был рекорд, но Netflix не хотели останавливаться.

График плотности вероятности нормального распределения и процент попадания случайной величины на отрезки, равные среднеквадратическому отклонению.

Тогда они устроили самый масштабный математический конкурс в истории — Netflix Prize. Они выложили в открытый доступ около 100 миллионов оценок пользователей по пятибалльной шкале и пообещали команде математиков, которая сможет увеличить точность их алгоритма Cinematch хотя бы на 10% выплатить — 1 миллион долларов США.

Конкурс продлился целых 3 года. В нем приняло участие более 5 тысяч команд математиков, а судьба финального приза решилась в последние минуты!

Две команды добились одинакового улучшения в 10,06%, но проигравшая команды выслала свой результат на 20 минут позже и после трёх лет разработки осталась ни с чем!

Но самое интересное, что Netflix в итоге не стал использовать ни одни из предложенных алгоритмов несмотря на их удивительную точность. Всё потому, что люди оказались сложнее самого совершенного алгоритма. Так что же пошло не так с алгоритмом для Netflix?

Как мы делаем выбор?

Давайте подумаем, как мы делаем выбор?

Как выяснилось, даже если алгоритм будет идеально угадывать оценки пользователя и заранее будет знать топ 10 ваших личных шедевров, о которых вы еще даже не знаете, это мало что дает. Потому что люди смотрят не те фильмы, которым ставят высокие оценки.

Давайте будем честны, как-то после тяжелого рабочего дня не тянет смотреть шедевры Бергмана, Феллини, и морщить надбровные дуги под Тарковского. Чаще мы смотрим кино в стиле Майкл Дудикофф ну или просто ненапрягающие сериалы.

Так что же тогда рекомендовать исключительно фильмы среднего качества? Ммм, не совсем так.

Чтобы рекомендация вам понравилась она должна быть интересной, неожиданной, своевременной. Иными словами — серендипной: от английского serendipity.

Да-да, есть такой термин. Если мы говорим про качества человека, он обозначает интуитивную прозорливость, способность делать глубокие выводы из случайных наблюдений и находить то, чего не искал намеренно.  Таким качеством очень полезно обладать ученым. К примеру, благодаря серендипности Вильгельм Рентген, открыл рентгеновское излучение.

Вот и алгоритм рекомендаций должен быть как рентген — видеть вас насквозь! Помимо очевидных вариантов, он должен уметь принимать неожиданные решения на основе массы факторов, чтобы подсунуть вам что-то такое, чтобы вы сказали: Так, а это что такое? Надо посмотреть.

Toshiba 50U5069

Примерно так я и сказал, когда увидел стоимость этого 50-дюймового 4K телевизора. Совсем скоро на самой масштабной ежегодной распродаже 11.11 на Aliexpress эту модель Toshiba 50U5069 будут отдавать всего за 20 тысяч рублей! Вместо 35 тысяч! Вот это серендипно!

Что мы получаем за 20 тысяч? Еще раз — диагональ 50 дюймов, разрешение UHD и полноценная Direct-Led подсветка.

Какой тип матрицы производитель не указывает, но по всем параметрам это IPS, потому что углы обзора максимальные — 178 градусов, и отличная цветопередача. Но вот черный цвет совсем не глубокий. Как всегда бывает в IPS.

Наших любимых алгоритмов обработки изображения тут тоже не пожалели. В ТВ выделен отдельный графический процессор CEVO 4K HDR для постобработки изображения. Он умеет апскейлить HD контент до 4К, обрабатывать HDR-контент, делать динамический контраст. Короче, телевизор умеет всё, что положено современному ТВ.

По дизайну и материалам ничего особенного — черный пластик со всех сторон. Зато рамки тонкие, поэтому телевизор выглядит солидно. А больше ничего и не надо. Все разъемы подключаются горизонтально, а значит провода не будет торчать и телевизор можно вплотную прижать к стене.

По звуку, поддерживается DOLBY AUDIO и DTS. В целом телек звучит весьма неплохо. Мы даже расслышали низкие.

Процессор тут 4-ядерный от Медиатек (MSD6886). Интерфейс шустрый и отзывчивый, но это не Android TV. Здесь стоит операционка на базе Линукса — VIDAA U3.0. Это настоящая ОС, тут даже есть свой магазин приложений. А на форуме 4PDA есть активная ветка с обсуждением. Кстати, такая же ОС стоит во многих теликах Hisense. Поэтому в целом по этой операционной системе много чего пилят.

Но, с Android TV по количеству приложения VIDAA конечно же не сравнится. Поэтому если уж очень нужно качать с телевизора торренты, то проще докупить простенький Android TV медиаплеер. Либо можно подцепить флешку или жесткий диск, контент с внешних носителей ТВ легко читает.

Более того, тут естественно есть Netflix и YouTube, на что намекают кнопки на пульте. Есть разные медиаплееры, приложения Яндекса, Gismeteo и даже разные музыкальные сервисы. В общем, жить можно.

В ТВ также есть Bluetooth, поэтому пультом не надо целиться в экран, чтобы сработало нажатие. Или можно подключить беспроводные наушники к ТВ, чтобы никому не мешать. Также тут поддерживается Wi-Fi 2.4 и 5 ГГц.

В общем, в телевизоре есть все основные функции Smart ТВ. Поэтому, если ищите недорогой 4К-телевизор, присмотритесь к этому варианту, предложение чрезвычайно серендипное.

Распродажа на Aliexpress стартует 11 ноября в 10 утра и продлится 48 часов. Но ТВ можно положить в корзину уже сейчас, а со скидкой купить 11 ноября! Я хоть и не алгоритм, но рекомендую присмотреться к этой модельке и сделать подарок себе или близким.

И точно также как Aliexpress предлагает вам разные интересные товары, так и современные алгоритмы рекомендаций, чтобы предоставить вам интересную подборку — это всегда комбинация из нескольких методов. Каких именно?

Коллаборативная фильтрация

Наиболее популярный метод рекомендаций — это коллаборативная фильтрация. Одни из первых кто её стали использовать — Netflix и Last.fm, а сейчас используют буквально все. Что это такое и как работает? Коллаборативная фильтрация работает так:

Составляется табличка со всеми пользователями и их оценками. Такая таблица называется матрицей оценок.

Дальше логика простая: у пользователей с похожими оценками — похожие вкусы. Поэтому, если одному пользователю нравится A и B, а другому A и С, то стоит порекомендовать первому С, а второму В. Всё вроде как логично, но есть проблема.

Во-первых, такие матрицы обладают огромной размерностью. Количество строк равно количеству пользователей, а столбцов — количеству объектов оценки. То есть, в случае со Spotify столбцов будет не меньше 60 миллионов: именно столько туда загружено треков. А с таким объемом данных сложно работать в реальном времени.

Во-вторых, непонятно, что рекомендовать новым пользователям, скупым на оценки ребятам.

Чтобы это как-то нивелировать, пользователи объединяются в кластеры, так сказать в группы по интересам с похожими оценками. Это уменьшает размер таблички и заполняет пробелы в оценках. Но и в этом случае появляется проблема — рекомендации теряют индивидуальность, становятся тривиальными. Поэтому в бой вступают другие алгоритмы!

Анализ аудиофайлов

В случае с рекомендациями музыки отлично работает метод основанный на глубоком анализе аудиофайлов. Такие сервисы как Spotify и Яндекс.Музыка препарируют на составляющие каждый трек, загруженный в систему.

В Spotify это работает так:

Каждый трек загружается в сверточную нейросеть, проходя через каждый слой нейросети делается небольшой срез данных, которые на финальном слое объединяются в единый массив информации, который включает в себя такие характеристики, как размер песни, гармонию, темп и громкость и прочее.

Вот так выглядит анализ 30 секунд отрезка песни «Around the World» Daft Punk.

Анализ ключевых характеристик тех или иных песен позволяет Spotify понять фундаментальную схожесть между различными треками. Это позволяет добавлять в рекомендации, песни от неизвестных исполнителей, по которым еще не была собрана статистика по оценкам и прослушиваниям.

Например, внедрение подобного алгоритма в Яндекс. Музыке позволило увеличить ежедневное время прослушивания на 1,5% и на 7,5% уменьшить количество дизлайков.

Благодаря такому подходу даже совсем новые исполнители без прослушиваний попадают в персональные рекомендации. Мне вот Spotify постоянно, что-то эдакое подкидывает. Вот и я вам подкину еще одну небольшую рекомендацию — смартфон realme 6 Pro с 6 камерами и экраном 90 Гц на распродаже 11 ноября будут отдавать всего за 17 тысяч рублей вместо 24 990. А в смартфоне есть вообще всё:

• Дисплей диагональю 6.6 дюйма, разрешением 2400 x 1080 и поддержкой 90Гц
• Быстрая зарядка 30 Вт
• Селфи-камера разрешением 16 Мп и вторая камера со сверхширокоугольным объективом
• Основная камера разрешением 64 Мп
• Быстрый процессор Snapdragon 720G
• Много памяти: 8 ГБ оперативной, накопитель на 128 ГБ + microSD
• NFC
• Поддержка двух SIM-карт
• Сканер отпечатка в боковой кнопке

Еще Aliexpress будет разыгрывать коробки с подарками — АлиБоксы. Во время акции с 11 по 13 ноября, если наберете товаров больше чем на одну тысячу рублей, вы автоматически сможете выиграть этот «АлиБокс». Внутри будут смартфоны, наушники, купоны и прочие ништяки. В общем, если думали что-то взять на Али — идеальное время с 11 по 13 ноября.

Многорукий бандит

Но такой хак работает только с музыкой, поэтому стриминговые сервисы выкручиваются иначе. Например, Netflix использует метод “многорукого бандита”.

Представьте, что вы находитесь в зале с такими автоматами и у вас есть некоторое количество бесплатных попыток для игры, однако вы не знаете, какой из автоматов может дать наибольшую прибыль. Задача игрока с «многоруким бандитом» в том, чтобы максимизировать средний выигрыш: найти самый выгодный автомат как можно быстрее и как можно меньше взаимодействовать с невыгодными.

Netflix использует метод для персонализации обложек фильмов и сериалов. Если вы не знали, Netflix делает кучу разных обложек для каждого фильма и подсовывает вам обложку в зависимости от вашего пола, возраста или даже цвета кожи.

Но, чтобы понять какая обложка сработает, они проводят полевые тестирования. Рандомные обложки обложки подсовывают ограниченной группе пользователей и система записывает их поведение. Дальше плохие обложки отсеиваются, хорошие оставляют.

Поэтому если в Netflix вместо нормального постера вы видите какуе-то невнятную хрень, знайте — не нажимая не это, вы трудитесь во благо общества. Но у такого метода есть и свои недостатки. Весь интерфейс Netflix построен по принципу 90-секундного окна: если за 90 секунд пользователь не выберет шоу, которое посмотреть — он уйдет.

Поэтому Netflix в большей степени рассчитан на пассивное потребление контента: быстро включить что угодно и смотреть. Примерно как выбор канала по телевизору, но вместо канала кликаешь на привлекательную обложку. А чтобы не смущать пользователя Netflix даже показывает рейтинг фильма.

Идеальная рекомендация: CatBoost

Мы с вами выяснили, что для идеальной рекомендации нового фильма или трека нужно использовать разные алгоритмы, у каждого из которых своё мнение на этот счёт. Но в каких пропорциях учитывать разные результаты?

Алгоритм долже учитывать всё, ведь предпочтения пользователя постоянно меняются из-за массы факторов: как прошел его день, какая погода, самочувствие и прочее. До недавнего времени эта проблема была нерешаема. Но в 2017 году Яндекс выложил в открытый доступ собственную библиотеку на основе машинного обучения CatBoost. При помощи этой библиотеки Яндекс ранжирует поисковую выдачу, предсказывает осадки с точностью до 10 минут. А Европейская организация по ядерным исследованиям (CERN) использует CatBoost для анализа и объединения данных, полученных с разных детекторов Большого адронного коллайдера.

Что это за волшебный алгоритм такой? Этот алгоритм позволят брать массу дополнительных разнородных источников информации объединять эти данные и тем самым повышать точность рекомендации.

Алгоритм это делает благодаря объединению массы так называемых решающих древ или древ принятия решений. Примерно таких, которые использует банк, когда принимает решение выдавать ли кредит.

Основная фишка, что этот алгоритм может работать не только с числовыми значениями, но и с категориями, которые можно присваивать фильмам, трекам или пользователям.

CatBoost так и расшифровывается — категориальный бустинг. Поэтому, условно говоря, если вы поздно пришли с работы, алгоритм может учесть то, что вы попали в категорию “заколебался” и предложить вам соответствующий ненапряжный контент.

CatBoost использует не только Яндекс. Его уже взяли на вооружение Netflix, Aviasales и другие компании.

Что в итоге? Если раньше вы могли получить классную рекомендацию только от своего друга, то теперь, что посмотреть и послушать вам рекомендует весь мир, обработанный алгоритмом. И это конечно же очень круто!

Преумножающийся каждый год объем трафика с мобильных устройств заставляет меняться не только сайты, но и поисковики.

Недавно стало официально известно, что 21 апреля Google внедрит новые алгоритмы, которые преобразуют поисковые выдачи, отдав предпочтение мобильным сайтам.
(далее…)