Apollo Research и Goodfire запустили мониторы для контроля ИИ-агентов

После инцидента с 12 тысячами неконтролируемых ботов на рынке ИИ-мониторинга появились новые игроки — Apollo Research и Goodfire предлагают системы для отслеживания поведения ИИ-агентов. Компании разработали инструменты, которые должны предотвращать выход агентов за пределы заданных параметров.

Однако критики указывают на уязвимость таких систем: ИИ потенциально может обманывать механизмы контроля, что ставит под вопрос надёжность предложенных решений.