Исследователь OpenAI и Anthropic уволился из-за рисков неконтролируемого ИИ

Jacob Coxon, три года работавший над предобучением в OpenAI и Anthropic, уволился и заявил, что обе компании движутся к самоулучшающемуся сверхинтеллекту без достаточного контроля. По его словам, конкурентная гонка подавляет осторожность, хотя риск осознают люди внутри лабораторий.

Руководитель направления алаймента в Anthropic подтвердил: компания серьёзно рассматривает риск уничтожения человечества и оценивает его вероятность в более чем 10% в течение следующих десяти лет. При этом Anthropic признаёт отсутствие решения проблемы контроля сверхинтеллекта и неуверенность в том, успеют ли его найти.