Huawei запустила хранилище на 64 петабайта для кэша нейросетей

Huawei анонсировала специализированный кластер OceanStor M900 с пулом KV-кэша объёмом 64 петабайта и пропускной способностью 40 ТБ/с. Система предназначена для инференса больших языковых моделей с контекстными окнами свыше 1 млн токенов и многошаговых агентов.

В традиционной архитектуре хранилище служило только для загрузки весов модели в память ускорителя, но с переходом на длинные контексты и сложные агентские сценарии узким местом стал KV-кэш — его больше нельзя держать в дефицитной памяти GPU. OceanStor M900 превращает SSD из пассивного диска в активный участник вычислений.