Исследователи Яндекса представили способ повысить точность рекомендательных систем
Специалисты Яндекса разработали математический метод, который повышает точность рекомендательных систем в среднем на 7%, экономя при этом вычислительные ресурсы. Яндекс планирует использовать метод при обучении рекомендательных моделей собственных сервисов, в частности Маркета.
Решение будет полезно и другим компаниям, которые используют рекомендательные сервисы – например, предлагая пользователям товары или контент.
О новом методе исследователи Яндекса рассказали в научной статье, принятой на престижную международную конференцию ACM RecSys 2025.
Проблема существующих систем заключается в компромиссе между точностью и производительностью. Для обучения моделей на миллионах товаров или видео необходимо много ресурсов. Чтобы сократить затраты, часто используют метод sampled softmax (алгоритм выборочного сэмплирования).
Его суть в том, что систему обучают различать предпочтения людей путем сравнения реализованных действий, которые пользователи совершили по отношению к конкретному объекту (положительные примеры), с нереализованными действиями, которых они не совершали относительно того же объекта (отрицательные примеры). В качестве объекта, например, может выступать определенный товар, тогда положительный пример – это добавление в корзину, а отрицательный – просмотр на сайте без добавления. Обучение системы строится на том, что ей показывают положительный пример и отрицательные, – и благодаря этому модель начинает отличать одно от другого, поясняет Яндекс.
Однако данный метод имеет недостатки. Например, обучение может быть некачественным из-за некорректного учета вероятностей. В результате модель будет давать неверные рекомендации.
Решение Яндекса – новая формула пересчета вероятностей того, что пользователь заинтересуется определенным товаром или контентом, – LogQ. Благодаря формуле модель при обучении начинает понимать, что реальные действия пользователя выбираются не случайным образом и явно задаются ей как положительные примеры, а остальные примеры – отрицательные и выбраны случайно. Это позволяет уменьшить смещения в оценках со стороны модели, то есть искажения, влияющие на точность ее финальных рекомендаций. В результате модель лучше понимает предпочтения пользователей и, как следствие, дает им более подходящие рекомендации.
Компании и разработчики могут использовать новую формулу при обучении любой рекомендательной системы. Для этого им не придется менять архитектуру своих моделей.
Напомним, ранее Яндекс и ВШЭ запустили второй сезон международной олимпиады по ИИ и анализу данных.
Оригинал новости на SEOnews
