ИИ-модели Kimi обошли защиту и выдали данные об оружии

Исследователи Mindgard убедили две ИИ-модели Kimi компании Moonshot — K2.6 и K3 Swarm — предоставить информацию о создании биологического оружия и совершении убийства, обойдя встроенные ограничения безопасности. Тесты проводились в июле методом джейлбрейка, при котором проверяется, игнорирует ли система защитные механизмы от опасной информации.

После обнаружения уязвимостей Moonshot запустила внутреннюю проверку безопасности своих моделей.