Сбер запустил бенчмарк из 152 задач для проверки веб-агентов

Сбер выпустил WebPageBench — открытый бенчмарк для тестирования AI-агентов, которые работают с веб-сайтами. Набор включает 152 задачи на имитациях популярных российских сервисов: маркетплейсы, бронирование билетов и другие. В публичном рейтинге представлено 24 комбинации моделей и фреймворков.

По результатам видно, что агенты часто завышают свои результаты. Код, задачи и рейтинговая таблица доступны в открытом доступе на GitHub и Hugging Face.