Обучение на миллиардах веб-страниц не учит ИИ отказывать

Автор Arthur Holland Michel в материале утверждает, что на способность ИИ отказывать возлагают слишком большие надежды. Модели обучают на миллиардах веб-страниц, и они усваивают широкое владение насилием и грубостью, но не учатся сдерживать эти способности. В 2021 году команда Anthropic написала, что большие языковые модели должны быть полезными, честными и прежде всего безвредными, а при просьбе помочь с опасным делом ИИ должен вежливо отказать.

Ранние модели OpenAI, по словам Стивена Эдлера, который работал над безопасностью там в 2020–2024 годах, могли «болтать обо всём». Сегодня модели обучают отказывать на огромное число запросов, но сама идея, что ИИ не должен делать всё, о чём его просят, стала почти заповедью.