Защита ИИ-агентов от prompt injection строится на уровне архитектуры

Издание OTUS опубликовало статью о защите ИИ-агентов от prompt injection. По тексту, даже обычный документ может стать источником команд для модели. Если агент имеет доступ к инструментам с широкими полномочиями, одна удачная атака способна привести к утечке данных или нежелательным действиям.

Статья разбирает защиту на уровне архитектуры: от разделения доверия до контроля действий агента, с примерами на Python. Для компаний, которые дают агентам широкие полномочия, это означает необходимость проектировать защиту заранее.