МТС автоматизировала оценку ботов поддержки с помощью LLM

Команда Customer Support NLP в МТС разработала метрику на основе языковой модели для автоматической оценки ботов поддержки клиентов. Система заменила ручную проверку и увеличила пропускную способность с 3000 сессий в месяц до 100 в секунду. Разработка применяется в продукте MWS AI Клиентский сервис.

Над проектом работали Ангелина Большина, Денис Толкачев и Игорь Буянов. Автоматизация позволяет МТС быстрее масштабировать системы поддержки без увеличения численности команды оценщиков.