KV кэш в трансформерах растёт квадратично с длиной контекста

Разработчик Flux опубликовал на Хабре анализ проблемы масштабирования KV кэша в современных языковых моделях. KV кэш — механизм, который обменивает память на скорость при генерации текста, позволяя вычислять каждый новый токен за линейное время вместо квадратичного.

Однако сам кэш растёт квадратично по отношению к длине контекста, что становится узким местом при работе с большими объёмами текста. Это означает, что при удвоении контекста требуемая память увеличивается в четыре раза, ограничивая практическое применение моделей с расширенным контекстом.