Амодеи требует замедлить разработку ИИ из-за рисков саморазвития

Дарио Амодеи, CEO Anthropic, опубликовал эссе с призывом замедлить развитие ИИ, ссылаясь на рекурсивное самосовершенствование моделей и риск роев агентов. С ним согласились Сэм Альтман, Илон Маск, Демис Хассабис и Андрей Карпаты. Амодеи утверждает, что с лета этого года ИИ резко ускорился благодаря тому, что модели сами создают следующее поколение, и без контроля этот процесс может обогнать способность людей управлять системами.

Он предлагает три меры: встроить независимых экспертов для мониторинга безопасности в каждой ИИ-компании, согласовать общие стандарты между странами и ограничить темп разработок. Anthropic обязуется внедрить первый пункт в одностороннем порядке.