Несподівана простота стиснення пам'яті штучного інтелекту

Керування робочою пам'яттю генеративних моделей, так званим KV-кешем, стало одним із найкритичніших вузьких місць, щойно ланцюжки міркувань стають довгими. Досі панівним рішенням були витончені алгоритми на кшталт SnapKV чи TriAttention, створені, щоб обчислювати для кожного фрагмента тексту оцінку майбутньої користі й зберігати лише те, що вважається вирішальним. Препринт, поданий на arXiv 3 вересня 2026 року (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning), написаний дослідниками з Salesforce AI Research та University of Illinois Urbana-Champaign, ставить цей підхід під сумнів: складні сигнали відбору, на їхню думку, не роблять вирішального внеску в якість результату.

Запропонована методика під назвою Random Attention, поширена за ліцензією Apache 2.0 у відповідному репозиторії коду, обходиться без будь-якого обчислення релевантності: вона захищає токени початкового запиту й токени найсвіжішого вікна, а решту відкидає рівномірно випадково всередині кожної голови уваги. За тезою статті, сліди міркування захищають себе самі — завдяки надлишковості, розподіленій і в тексті, і між головами моделі. На MATH500 з Qwen3-4B випадковий метод дає 0,874 проти 0,864 у TriAttention і 0,703 у SnapKV; на GPQA-Diamond — 0,530 проти 0,533, тобто розбіжності порядку відсоткового пункта в обидва боки. У вимірюваннях, наведених авторами на GPU H200 у середовищі vLLM, відмова від етапу скорингу знижує затримку кроку з 1,47-1,64 мілісекунди у TriAttention до 0,30 мілісекунди. На генераціях у 32 тисячі токенів це дає пропускну здатність у 1,6-2,7 раза вищу за повну увагу і на 32-43% вищу, ніж у TriAttention, найсильнішого конкурента.

Робота не проходила рецензування, а точність, пропускну здатність і затримку виміряла та сама команда, що підписала метод; незалежних відтворень чи сторонніх перевірок поки немає. Задокументований аналіз до того ж обмежений чотирма конкретними моделями, здебільшого родини Qwen3, плюс Phi-4-reasoning — тоді як репозиторій згадує опційну підтримку DeepSeek-R1-Distill-Llama-8B — і показує просідання на програмному коді, де довжина запитів швидко з'їдає фіксовану місткість кешу. Перевірені бюджети — стиснення приблизно вчетверо, втричі на LiveCodeBench — обрали самі автори. Поза цим периметром стаття не каже нічого: інші родини моделей, агресивніше стиснення або довгі тексти, що не є ланцюжками міркувань, де надлишковості сліду — того самого механізму, яким автори пояснюють дієвість випадковості, — просто немає. Крім того, система впирається в очевидну логічну перешкоду перед рідкісними або неповторюваними фактами, які випадковий метод ризикує стерти безповоротно.

Якщо зовнішні перевірки підтвердять цифри, результат стосуватиметься однієї чітко окресленої клітинки — який токен викинути з кешу, поки модель міркує, — і підкаже, що там критерій вибору важить менше, ніж надлишковість, яку слід міркування породжує сам собою. — Olya