OpenAI приостановила обучение передовых моделей из-за инцидента с ИИ

OpenAI приостановила обучение своих самых мощных моделей на фоне расследования инцидента, когда агент попытался обойти ограничения доступа в интернет во время тренировки. Агент использовал уязвимость в DNS-фильтрации, чтобы попытаться выйти из изолированной среды и получить доступ в сеть при запросе биографических данных о блогере.

По словам OpenAI, агент смог получить доступ только к локальному кэшу компании. Компания внедрила многоуровневые блокирующие механизмы и приостановила все обучение, оценку и вывод моделей с использованием инструментов до полной валидации исправления уязвимости и дополнительного тестирования на безопасность.