Как работают рекомендательные сервисы? РАЗБОР

Сегодня мы попробуем разобраться как работают сервисы рекомендаций, которые подсказывают нам — какой фильм посмотреть или какую музыку послушать.
aka_opex 3 ноября 2020 в 07:39

Как раньше было: хотите что-то посмотреть. Включаете телевизор и бесконечно листаете каналы в поисках хоть чего-то приличного.

А сейчас? Нажимаете кнопочку Netflix на пульте, выбираете самую симпатичную превьюшку и вуаля — очередная шедевральная документалка!

А от того насколько хорошо твои вкусы знают сервисы типа Spotify, Яндекс.Музыки вообще становится страшно!

Теперь что вы будете смотреть слушать или даже носить определяете не вы, а алгоритмы рекомендаций. И сегодня мы разберемся как так получилось, что интернет знает чего я хочу, лучше меня самого!

Кажется, что алгоритмы рекомендаций пришли только недавно. Но на самом деле они существуют с 90-х. По настоящему большой прорыв в этой области произошел в 2006 году. Вернемся в него!

А в рассказе нам помонут телевизор Toshiba и смартфон realme 6 Pro.

Всё произошло в США. Тогда еще небольшая, но амбициозная компания по прокату DVD-дисков Netflix уже имела, на тот момент, лучшую модель предсказания оценок пользователей, под названием Cinematch. Показатель RMSE, то есть среднеквадратическое отклонение у этого алгоритма было 0.9525.

Насколько это точно мы не скажем. Но факт в том, что тогда это был рекорд, но Netflix не хотели останавливаться.

График плотности вероятности нормального распределения и процент попадания случайной величины на отрезки, равные среднеквадратическому отклонению.

Тогда они устроили самый масштабный математический конкурс в истории — Netflix Prize. Они выложили в открытый доступ около 100 миллионов оценок пользователей по пятибалльной шкале и пообещали команде математиков, которая сможет увеличить точность их алгоритма Cinematch хотя бы на 10% выплатить — 1 миллион долларов США.

Конкурс продлился целых 3 года. В нем приняло участие более 5 тысяч команд математиков, а судьба финального приза решилась в последние минуты!

Две команды добились одинакового улучшения в 10,06%, но проигравшая команды выслала свой результат на 20 минут позже и после трёх лет разработки осталась ни с чем!

Но самое интересное, что Netflix в итоге не стал использовать ни одни из предложенных алгоритмов несмотря на их удивительную точность. Всё потому, что люди оказались сложнее самого совершенного алгоритма. Так что же пошло не так с алгоритмом для Netflix?

Как мы делаем выбор?

Давайте подумаем, как мы делаем выбор?

Как выяснилось, даже если алгоритм будет идеально угадывать оценки пользователя и заранее будет знать топ 10 ваших личных шедевров, о которых вы еще даже не знаете, это мало что дает. Потому что люди смотрят не те фильмы, которым ставят высокие оценки.

Давайте будем честны, как-то после тяжелого рабочего дня не тянет смотреть шедевры Бергмана, Феллини, и морщить надбровные дуги под Тарковского. Чаще мы смотрим кино в стиле Майкл Дудикофф ну или просто ненапрягающие сериалы.

Так что же тогда рекомендовать исключительно фильмы среднего качества? Ммм, не совсем так.

Чтобы рекомендация вам понравилась она должна быть интересной, неожиданной, своевременной. Иными словами — серендипной: от английского serendipity.

Да-да, есть такой термин. Если мы говорим про качества человека, он обозначает интуитивную прозорливость, способность делать глубокие выводы из случайных наблюдений и находить то, чего не искал намеренно.  Таким качеством очень полезно обладать ученым. К примеру, благодаря серендипности Вильгельм Рентген, открыл рентгеновское излучение.

Вот и алгоритм рекомендаций должен быть как рентген — видеть вас насквозь! Помимо очевидных вариантов, он должен уметь принимать неожиданные решения на основе массы факторов, чтобы подсунуть вам что-то такое, чтобы вы сказали: Так, а это что такое? Надо посмотреть.

Toshiba 50U5069

Примерно так я и сказал, когда увидел стоимость этого 50-дюймового 4K телевизора. Совсем скоро на самой масштабной ежегодной распродаже 11.11 на Aliexpress эту модель Toshiba 50U5069 будут отдавать всего за 20 тысяч рублей! Вместо 35 тысяч! Вот это серендипно!

Что мы получаем за 20 тысяч? Еще раз — диагональ 50 дюймов, разрешение UHD и полноценная Direct-Led подсветка.

Какой тип матрицы производитель не указывает, но по всем параметрам это IPS, потому что углы обзора максимальные — 178 градусов, и отличная цветопередача. Но вот черный цвет совсем не глубокий. Как всегда бывает в IPS.

Наших любимых алгоритмов обработки изображения тут тоже не пожалели. В ТВ выделен отдельный графический процессор CEVO 4K HDR для постобработки изображения. Он умеет апскейлить HD контент до 4К, обрабатывать HDR-контент, делать динамический контраст. Короче, телевизор умеет всё, что положено современному ТВ.

По дизайну и материалам ничего особенного — черный пластик со всех сторон. Зато рамки тонкие, поэтому телевизор выглядит солидно. А больше ничего и не надо. Все разъемы подключаются горизонтально, а значит провода не будет торчать и телевизор можно вплотную прижать к стене.

По звуку, поддерживается DOLBY AUDIO и DTS. В целом телек звучит весьма неплохо. Мы даже расслышали низкие.

Процессор тут 4-ядерный от Медиатек (MSD6886). Интерфейс шустрый и отзывчивый, но это не Android TV. Здесь стоит операционка на базе Линукса — VIDAA U3.0. Это настоящая ОС, тут даже есть свой магазин приложений. А на форуме 4PDA есть активная ветка с обсуждением. Кстати, такая же ОС стоит во многих теликах Hisense. Поэтому в целом по этой операционной системе много чего пилят.

Но, с Android TV по количеству приложения VIDAA конечно же не сравнится. Поэтому если уж очень нужно качать с телевизора торренты, то проще докупить простенький Android TV медиаплеер. Либо можно подцепить флешку или жесткий диск, контент с внешних носителей ТВ легко читает.

Более того, тут естественно есть Netflix и YouTube, на что намекают кнопки на пульте. Есть разные медиаплееры, приложения Яндекса, Gismeteo и даже разные музыкальные сервисы. В общем, жить можно.

В ТВ также есть Bluetooth, поэтому пультом не надо целиться в экран, чтобы сработало нажатие. Или можно подключить беспроводные наушники к ТВ, чтобы никому не мешать. Также тут поддерживается Wi-Fi 2.4 и 5 ГГц.

В общем, в телевизоре есть все основные функции Smart ТВ. Поэтому, если ищите недорогой 4К-телевизор, присмотритесь к этому варианту, предложение чрезвычайно серендипное.

Распродажа на Aliexpress стартует 11 ноября в 10 утра и продлится 48 часов. Но ТВ можно положить в корзину уже сейчас, а со скидкой купить 11 ноября! Я хоть и не алгоритм, но рекомендую присмотреться к этой модельке и сделать подарок себе или близким.

И точно также как Aliexpress предлагает вам разные интересные товары, так и современные алгоритмы рекомендаций, чтобы предоставить вам интересную подборку — это всегда комбинация из нескольких методов. Каких именно?

Коллаборативная фильтрация

Наиболее популярный метод рекомендаций — это коллаборативная фильтрация. Одни из первых кто её стали использовать — Netflix и Last.fm, а сейчас используют буквально все. Что это такое и как работает? Коллаборативная фильтрация работает так:

Составляется табличка со всеми пользователями и их оценками. Такая таблица называется матрицей оценок.

Дальше логика простая: у пользователей с похожими оценками — похожие вкусы. Поэтому, если одному пользователю нравится A и B, а другому A и С, то стоит порекомендовать первому С, а второму В. Всё вроде как логично, но есть проблема.

Во-первых, такие матрицы обладают огромной размерностью. Количество строк равно количеству пользователей, а столбцов — количеству объектов оценки. То есть, в случае со Spotify столбцов будет не меньше 60 миллионов: именно столько туда загружено треков. А с таким объемом данных сложно работать в реальном времени.

Во-вторых, непонятно, что рекомендовать новым пользователям, скупым на оценки ребятам.

Чтобы это как-то нивелировать, пользователи объединяются в кластеры, так сказать в группы по интересам с похожими оценками. Это уменьшает размер таблички и заполняет пробелы в оценках. Но и в этом случае появляется проблема — рекомендации теряют индивидуальность, становятся тривиальными. Поэтому в бой вступают другие алгоритмы!

Анализ аудиофайлов

В случае с рекомендациями музыки отлично работает метод основанный на глубоком анализе аудиофайлов. Такие сервисы как Spotify и Яндекс.Музыка препарируют на составляющие каждый трек, загруженный в систему.

В Spotify это работает так:

Каждый трек загружается в сверточную нейросеть, проходя через каждый слой нейросети делается небольшой срез данных, которые на финальном слое объединяются в единый массив информации, который включает в себя такие характеристики, как размер песни, гармонию, темп и громкость и прочее.

Вот так выглядит анализ 30 секунд отрезка песни «Around the World» Daft Punk.

Анализ ключевых характеристик тех или иных песен позволяет Spotify понять фундаментальную схожесть между различными треками. Это позволяет добавлять в рекомендации, песни от неизвестных исполнителей, по которым еще не была собрана статистика по оценкам и прослушиваниям.

Например, внедрение подобного алгоритма в Яндекс. Музыке позволило увеличить ежедневное время прослушивания на 1,5% и на 7,5% уменьшить количество дизлайков.

Благодаря такому подходу даже совсем новые исполнители без прослушиваний попадают в персональные рекомендации. Мне вот Spotify постоянно, что-то эдакое подкидывает. Вот и я вам подкину еще одну небольшую рекомендацию — смартфон realme 6 Pro с 6 камерами и экраном 90 Гц на распродаже 11 ноября будут отдавать всего за 17 тысяч рублей вместо 24 990. А в смартфоне есть вообще всё:

  • Дисплей диагональю 6.6 дюйма, разрешением 2400 x 1080 и поддержкой 90Гц
  • Быстрая зарядка 30 Вт
  • Селфи-камера разрешением 16 Мп и вторая камера со сверхширокоугольным объективом
  • Основная камера разрешением 64 Мп
  • Быстрый процессор Snapdragon 720G
  • Много памяти: 8 ГБ оперативной, накопитель на 128 ГБ + microSD
  • NFC
  • Поддержка двух SIM-карт
  • Сканер отпечатка в боковой кнопке

Еще Aliexpress будет разыгрывать коробки с подарками — АлиБоксы. Во время акции с 11 по 13 ноября, если наберете товаров больше чем на одну тысячу рублей, вы автоматически сможете выиграть этот «АлиБокс». Внутри будут смартфоны, наушники, купоны и прочие ништяки. В общем, если думали что-то взять на Али — идеальное время с 11 по 13 ноября.

Многорукий бандит

Но такой хак работает только с музыкой, поэтому стриминговые сервисы выкручиваются иначе. Например, Netflix использует метод “многорукого бандита”.

Представьте, что вы находитесь в зале с такими автоматами и у вас есть некоторое количество бесплатных попыток для игры, однако вы не знаете, какой из автоматов может дать наибольшую прибыль. Задача игрока с «многоруким бандитом» в том, чтобы максимизировать средний выигрыш: найти самый выгодный автомат как можно быстрее и как можно меньше взаимодействовать с невыгодными.

Netflix использует метод для персонализации обложек фильмов и сериалов. Если вы не знали, Netflix делает кучу разных обложек для каждого фильма и подсовывает вам обложку в зависимости от вашего пола, возраста или даже цвета кожи.

Но, чтобы понять какая обложка сработает, они проводят полевые тестирования. Рандомные обложки обложки подсовывают ограниченной группе пользователей и система записывает их поведение. Дальше плохие обложки отсеиваются, хорошие оставляют.

Поэтому если в Netflix вместо нормального постера вы видите какуе-то невнятную хрень, знайте — не нажимая не это, вы трудитесь во благо общества. Но у такого метода есть и свои недостатки. Весь интерфейс Netflix построен по принципу 90-секундного окна: если за 90 секунд пользователь не выберет шоу, которое посмотреть — он уйдет.

Поэтому Netflix в большей степени рассчитан на пассивное потребление контента: быстро включить что угодно и смотреть. Примерно как выбор канала по телевизору, но вместо канала кликаешь на привлекательную обложку. А чтобы не смущать пользователя Netflix даже показывает рейтинг фильма.

Идеальная рекомендация: CatBoost

Мы с вами выяснили, что для идеальной рекомендации нового фильма или трека нужно использовать разные алгоритмы, у каждого из которых своё мнение на этот счёт. Но в каких пропорциях учитывать разные результаты?

Алгоритм долже учитывать всё, ведь предпочтения пользователя постоянно меняются из-за массы факторов: как прошел его день, какая погода, самочувствие и прочее. До недавнего времени эта проблема была нерешаема. Но в 2017 году Яндекс выложил в открытый доступ собственную библиотеку на основе машинного обучения CatBoost. При помощи этой библиотеки Яндекс ранжирует поисковую выдачу, предсказывает осадки с точностью до 10 минут. А Европейская организация по ядерным исследованиям (CERN) использует CatBoost для анализа и объединения данных, полученных с разных детекторов Большого адронного коллайдера.

Что это за волшебный алгоритм такой? Этот алгоритм позволят брать массу дополнительных разнородных источников информации объединять эти данные и тем самым повышать точность рекомендации.

Алгоритм это делает благодаря объединению массы так называемых решающих древ или древ принятия решений. Примерно таких, которые использует банк, когда принимает решение выдавать ли кредит.

Основная фишка, что этот алгоритм может работать не только с числовыми значениями, но и с категориями, которые можно присваивать фильмам, трекам или пользователям.

CatBoost так и расшифровывается — категориальный бустинг. Поэтому, условно говоря, если вы поздно пришли с работы, алгоритм может учесть то, что вы попали в категорию “заколебался” и предложить вам соответствующий ненапряжный контент.

CatBoost использует не только Яндекс. Его уже взяли на вооружение Netflix, Aviasales и другие компании.

Что в итоге? Если раньше вы могли получить классную рекомендацию только от своего друга, то теперь, что посмотреть и послушать вам рекомендует весь мир, обработанный алгоритмом. И это конечно же очень круто!

Toshiba уходит с рынка ПК

Японская компания более 35 лет создавала компьютеры и ноутбуки. Сегодня объявили, что подразделение ноутбуков продано компании Sharp.
aka_opex 10 августа 2020 в 02:35

Компания Toshiba после 35 лет работы на ПК-рынке решила уйти окончательно и продала свой бизнес ноутбуков другой японской компании — Sharp. Из их пресс-релиза стало известно, что они продали 19,9% своих акций (оставшуюся часть) бизнеса компании Sharp. Ранее в 2018 году японская компания приобрела 80,1 процент акций за 36 миллионов долларов. С тех пор под брендом Toshiba выходили ноутбуки Dynabook.

Toshiba является одним из пионеров рынка персональных компьютеров. А первый свой лэптоп компания создала в 1985 году под названием T1100. По сути, тот ноутбук быстро стал стандартом для индустрии и в нём было много инноваций, в том числе внутренние заряжаемые аккумуляторы, LCD-дисплей, 3,5 дюймовый флоппи дисковод и совместимость с IBM-компьютерами.

Интересно, что в 1985 году внутри ноутбука было 256 КБ памяти, LCD-дисплей с разрешением 640 на 200 точек, дискеты на 640 или 720 КБ. Размер лэптопа составлял 12 на 12 дюймов (примерно по 30 см). Стоило такое чудо — 2000 долларов.

Топ-10 патентных лидеров

Чемпион сменился впервые за 25 лет
Arina 2 апреля 2018 в 05:50

Аналитики IAM и ktMINE провели исследование и выяснили, что «золото» по количеству зарегистрированных патентов ушло от IBM к Samsung. Если точнее, то разрыв составил внушительные 29 153 документа* в пользу южнокорейской компании.

Место Компания
1 Samsung
2 IBM
3 Canon
4 Microsoft
5 Intel
6 Panasonic
7 LG
8 Sony
9 Hitachi
10 Toshiba

Всего в рейтинге оказалось 45 компаний из США, 39 — из различных государств, 14 — из Европы, 2 — из КНР.

* Сведения актуальны на 1 января 2018 года для Патентного ведомства США

Источник: IamMedia

Рейтинг самых ненадежных компонентов ПК

Arina 12 декабря 2016 в 04:22

Издание Hardware France уже несколько лет подряд публикует статистику, касающуюся комплектующих настольных компьютеров. В подробном отчете специалисты уделили внимание не только брендам, но и отдельным моделям видеокарт или жестких дисков.

Источником данных указывается сервисный центр одного из крупнейших интернет-магазинов техники во Франции. Та или иная фирма попадала в рейтинг, если было куплено не менее 500 товаров. В выборке участвовали компоненты, приобретенные с 1 октября 2015 года по 1 апреля 2016 года, но возвращенные по гарантии до 30 сентября 2016 года.

Материнская плата:

  • лидер по качеству ASRock (1,45% отказов);
  • аутсайдер по качеству MSI (2,36% отказов).

Видеокарта:

  • лидер Sapphire (1,15%);
  • аутсайдер Inno3D (2,19%).

Оперативная память:

  • лидер Kingston (0,14%);
  • аутсайдер Сorsair (0,9%).

Жесткий диск:

  • лидер Seagate (0,72%);
  • аутсайдер HGST (1,13%).

Блок питания:

  • лидер FSP Group (0,89%);
  • аутсайдер Cooler Master (3,47%).

Твердотельный накопитель:

  • лидер Samsung (0,2%);
  • аутсайдер Corsair (1,67%).

Эксперты Hardware France отмечают, что в среднем каждые полгода популярные бренды повышают качество продукции для ПК и уменьшают процент брака.

Источник: Hardware France

Рейтинг самых продаваемых ноутбуков с начала 2016 года

Илья Рябов 15 августа 2016 в 03:08

Аналитическая компания TrendForce исследовала рынок ноутбуков и подвела итоги первой половины 2016 года.

По данным специалистов, продажи MacBook от Apple, по сравнению с прошлым годом, упали почти на четверть.

За первую половину 2016 года производители поставили в магазины порядка 74.18 миллионов ноутбуков, что на 4% меньше, чем в первой половине 2015 года.

Однако и в увядающей нише возможен рост. Так, Lenovo отгрузила 16.15 миллионов ноутбуков, что на 4.1% больше аналогичного периода в 2015-ом. Китайская компания занимает 22% рынка.

TrendForce

Второе место греет HP (Hewlett-Packard) с 15.8 миллионами лэптопов и долей в 21.3%. Замыкает тройку лидеров Dell с 15.3%.

Куда хуже дела у Apple. Спрос на «макбуки» за год снизился на 23.4%. Из-за этого компания занимает на рынке всего лишь 7.9%, что не идёт в сравнение с лидером Lenovo.

Источник: TrendForce 

Рейтинг производителей ноутбуков на начало 2016 года

Егор Беляков 29 марта 2016 в 05:39

Редакторы журнала LAPTOP опередили лучшие и худшие бренды ноутбуков, сопоставив следующие показатели: качество продукции, техническая поддержка, дизайн, отзывы покупателей, а также соотношение цены и качества.

Вот уже 6 год подряд пальму первенства в категории лэптопов удерживают устройства компании Apple.

Журналисты отмечают, что техническая поддержка у компьютеров Apple является лучшей среди конкурентов. Также купертиновцев похвалили за софт.

Вторая строчка рейтинга, как и год назад, осталась за DELL. По словам журналистов, американская компания делает лучшие ноутбуки, работающие на Windows и Chrome OS. Среди линейки производителя особой оценки удостоился XPS 13. Примечательно, что разрыв между первым и вторым местом составил всего один балл.

А вот третье место досталось компании ASUS, продукцию которой журналисты похвалили за качество сборки. По сравнению с 2015 годом, тайваньский гигант сделал рывок и прыгнул аж на 4 строчки вверх, обогнав Lenovo, MSi и HP.

Источник: LAPTOP

Droider Show #229. Apple против Америки и гибкий смартфон

vedensky 20 февраля 2016 в 11:11

Привет, дорогой гик! Пока россияне готовятся к праздничному марафону, а IT-сообщество к выставке MWC 2016, мы приготовили Droider Show. В выпуске поговорим о жестком противостоянии Apple и американских спецслужб, смартфоне по цене чашки кофе, планах Роскомнадзора регулировать онлайн-игры и возможном объединении Fujitsu, Toshiba и Vaio в мегапроизводителя компьютеров.

Кроме этого, в выпуске есть отчет с ежегодного форму CIS, который проводит Samsung, гибкий смартфон reFlex, искусственная копия человеческой руки и отличный концепт iPhone 7. Словом, выпуск удался. Приятного просмотра!

Toshiba представила модуль камеры для Project Ara

Илья Рябов 16 февраля 2015 в 02:24

Недавно стало известно, что на MWC 2015 некоторые компании представят модульные блоки для смартфона Spiral 2 – единственного на данный момент прототипа Project Ara.

Toshiba и Project Ara

Видимо, Toshiba решила не ждать начала марта и показала один из модулей сейчас.
(далее…)

Компании сокращают производство планшетов

Егор Беляков 28 ноября 2014 в 03:39

Производители планшетов намерены сократить количество новых устройств на рынке уже в следующем году.

Планшет

В числе первых, кто публично объявил о сокращении производства планшетов, стала компания ASUS. Согласно источнику, аналогичным образом намерены поступить Samsung и Lenovo.
(далее…)

Процессоры для Project Ara будет создавать Toshiba

Sleepp 21 мая 2014 в 07:50

Project Ara является одним из самых обсуждаемых направлений компании Google. Проект представляет собой интересную концепцию модульного смартфона, который пользователь комплектует персонально. На днях в сети появилась информация об одном из поставщиков «модулей» для нового устройства.  Как сообщают инсайдеры, одним из производителей компонентов станет Toshiba.

Project Ara

Предполагается, что перспективный смартфон будет продаваться в базовой комплектации, в которую войдет основная плата, процессор, дисплей, модуль Wi-Fi и аккумулятор. Таких модификаций будет всего 3. Друг от друга они будет отличаться размерами и соотношением сторон. Стоимость базы составит всего 50 долларов.
(далее…)