Исследователь OpenAI и Anthropic уволился из-за рисков неконтролируемого ИИ

Джейкоб Коксон, исследователь, проработавший три года в OpenAI и Anthropic над предобучением моделей, уволился, заявив, что обе компании движутся к самоулучшающемуся сверхинтеллекту без достаточного контроля над разработками. По его словам, конкурентная гонка подавляет осторожность, хотя риск осознают внутри лабораторий.

Руководитель направления алаймента в Anthropic подтвердил, что компания серьёзно рассматривает риск уничтожения человечества ИИ — оценивая вероятность выше 10% в течение десяти лет. При этом Anthropic не имеет решения проблемы контроля над сверхинтеллектом и не уверена в возможности его найти.