Неожиданная простота сжатия памяти искусственного интеллекта

Управление рабочей памятью генеративных моделей, так называемым KV-кэшем, стало одним из самых узких мест, как только цепочки рассуждений вытягиваются в длину. До сих пор преобладающим решением были изощрённые алгоритмы вроде SnapKV или TriAttention, рассчитывающие для каждого фрагмента текста оценку будущей полезности и сохраняющие только то, что признано существенным. Препринт, размещённый на arXiv 3 сентября 2026 года (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning), написанный исследователями из Salesforce AI Research и University of Illinois Urbana-Champaign, ставит этот подход под сомнение: сложные сигналы отбора, по их мнению, не вносят решающего вклада в качество результата.

Предложенная методика, названная Random Attention и выложенная под лицензией Apache 2.0 в соответствующем репозитории кода, обходится вовсе без вычисления релевантности: она защищает токены исходного запроса и токены самого свежего окна, а остальные отбрасывает равномерно случайно внутри каждой головы внимания. По тезису статьи, следы рассуждения защищают себя сами — благодаря избыточности, распределённой и по тексту, и между головами модели. На MATH500 с Qwen3-4B случайный метод даёт 0,874 против 0,864 у TriAttention и 0,703 у SnapKV; на GPQA-Diamond — 0,530 против 0,533, то есть расхождения порядка процентного пункта в обе стороны. В измерениях, приведённых авторами на GPU H200 в среде vLLM, отказ от этапа скоринга снижает задержку шага с 1,47-1,64 миллисекунды у TriAttention до 0,30 миллисекунды. На генерациях в 32 тысячи токенов это даёт пропускную способность в 1,6-2,7 раза выше полного внимания и на 32-43% выше, чем у TriAttention, самого сильного конкурента.

Работа не проходила рецензирование, и точность, пропускную способность и задержку измеряла та же команда, что подписала метод; независимых воспроизведений или сторонних проверок пока нет. Задокументированный анализ к тому же ограничен четырьмя конкретными моделями, преимущественно семейства Qwen3, плюс Phi-4-reasoning — тогда как репозиторий упоминает опциональную поддержку DeepSeek-R1-Distill-Llama-8B — и показывает просадки на программном коде, где длина запросов быстро съедает фиксированную ёмкость кэша. Проверенные бюджеты — сжатие примерно в 4 раза, в 3 на LiveCodeBench — выбрали сами авторы. За пределами этого периметра статья не говорит ничего: другие семейства моделей, более агрессивное сжатие или длинные тексты, не являющиеся цепочками рассуждений, где избыточности следа — того самого механизма, которым авторы объясняют работу случая, — попросту нет. Кроме того, система упирается в очевидное логическое препятствие перед редкими или не повторяющимися фактами, которые случайный метод рискует стереть безвозвратно.

Если внешние проверки подтвердят цифры, результат будет касаться одной точно очерченной клетки — какой токен выбросить из кэша, пока модель рассуждает, — и подскажет, что там критерий выбора весит меньше, чем избыточность, которую след рассуждения порождает сам по себе. — Olya