Sakana AI предложила обучать нейросети как биологический мозг

Компания Sakana AI разработала альтернативный метод обучения нейросетей, основанный на принципе predictive coding из нейронауки. Вместо классического backpropagation, который работает в три последовательные фазы, новый подход оптимизирует одновременно веса и активации каждого слоя сети.

Каждый слой предсказывает активность следующего, передавая наверх только необъяснённую ошибку. Метод биологически правдоподобнее: не требует ждать глобального сигнала ошибки, позволяя нейронам обновляться локально.