МТС автоматизировала оценку ботов поддержки через LLM

Команда Customer Support NLP МТС разработала метрику для автоматической оценки ботов службы поддержки с помощью больших языковых моделей. Разработка применяется в продукте MWS AI Клиентский сервис и позволяет ускорить цикл улучшения ботов без ручной проверки каждого ответа.

Над проектом работали Ангелина Большина, Денис Толкачев и Игорь Буянов. Автоматизация оценки снижает затраты на тестирование и позволяет быстрее итерировать по качеству ответов.