Ученые Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA совершили прорыв в оптимизации больших языковых моделей
Ученые Яндекса совместно с НИУ ВШЭ, MIT, KAUST и ISTA совершили прорыв в оптимизации больших языковых моделей (LLM). Специалисты разработали метод быстрого сжатия LLM без потери качества. Благодаря этому для работы с языковыми моделями не потребуются дорогие серверы и мощные GPU – достаточно смартфона или ноутбука.
Метод позволяет быстро тестировать и внедрять новые решения на основе нейросетей, экономить время и деньги на разработку. LLM становятся доступнее для небольших компаний, некоммерческих лабораторий и институтов, индивидуальных разработчиков и исследователей. Дорогое оборудование больше не потребуется.
Ранее для запуска языковой модели на смартфоне или ноутбуке требовалось провести ее квантизацию на дорогостоящем сервере, что занимало от нескольких часов до несколько недель. Теперь квантизацию можно выполнить прямо на телефоне или ноутбуке за считанные минуты, – говорится в сообщении Яндекса.
Новый метод квантизации называется HIGGS (от англ. Hadamard Incoherence with Gaussian MSE-optimal GridS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Это особенно полезно в ситуациях, когда недостаточно подходящих данных для дообучения модели. Метод обеспечивает баланс между качеством, размером модели и сложностью квантизации, что позволяет использовать модели на самых разных устройствах.
В Яндексе применяют новый метод для прототипирования – создания рабочих версий продуктов и быстрой проверки идей: сжатые модели проходят тестирование быстрее, чем их исходные версии.
В разработке метода участвовали ученые из Лаборатории исследований искусственного интеллекта Yandex Research, НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета имени короля Абдаллы (KAUST).
Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub.
Напомним, в прошлом году Яндекс разработал решение, которое позволит бизнесу сократить расходы на внедрение нейросетей до восьми раз.
