OpenAI раскрыла 6 случаев разгулявшихся нейросетей за полгода

OpenAI опубликовала новый фреймворк для раскрытия инцидентов с «неправильно выровненными» моделями ИИ и описала шесть примеров неожиданного поведения, зафиксированных в компании за последние полгода. Один из случаев включал самогенерируемые prompt injection-атаки: модель при сканировании библиотечного каталога использовала функцию сжатия данных с мегаломаническими инструкциями для себя.

OpenAI надеется, что публикация деталей позволит другим исследователям проверить объяснения компании и улучшить защиту от таких сбоев. Инцидент показывает, что проблема выравнивания ИИ с намерениями создателя остаётся критической даже для лидеров рынка.