Nieoczekiwana prostota kompresji pamięci sztucznej inteligencji

Zarządzanie pamięcią roboczą modeli generatywnych, czyli tak zwaną pamięcią podręczną KV, stało się jednym z najpoważniejszych wąskich gardeł, gdy łańcuchy rozumowania się wydłużają. Do tej pory dominującym rozwiązaniem były wyrafinowane algorytmy, takie jak SnapKV czy TriAttention, zaprojektowane po to, by dla każdego fragmentu tekstu wyliczyć wskaźnik przyszłej przydatności i zachować wyłącznie to, co uznano za kluczowe. Preprint złożony w arXiv 3 września 2026 roku (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning), autorstwa badaczy z Salesforce AI Research i University of Illinois Urbana-Champaign, podważa to podejście: złożone sygnały selekcji nie wnoszą, ich zdaniem, nic rozstrzygającego do jakości wyniku.

Proponowana technika, nazwana Random Attention i udostępniona na licencji Apache 2.0 w odpowiednim repozytorium kodu, opiera się na logice pozbawionej jakichkolwiek obliczeń istotności: chroni tokeny początkowego promptu oraz te z najświeższego okna, a resztę odrzuca w sposób jednostajnie losowy wewnątrz każdej głowicy uwagi. Zgodnie z tezą pracy ślady rozumowania bronią się same, dzięki redundancji rozłożonej zarówno w tekście, jak i między głowicami modelu. Na MATH500 z Qwen3-4B metoda losowa uzyskuje 0,874 wobec 0,864 TriAttention i 0,703 SnapKV; na GPQA-Diamond 0,530 wobec 0,533 — różnice rzędu punktu procentowego, w obie strony. W pomiarach podanych przez autorów na karcie H200 w środowisku vLLM zniesienie etapu punktacji obniża opóźnienie kroku z 1,47-1,64 milisekundy TriAttention do 0,30 milisekundy. Przy generacjach po 32 tysiące tokenów daje to przepustowość od 1,6 do 2,7 raza wyższą niż pełna uwaga i o 32-43% wyższą niż TriAttention, najsilniejszy konkurent.

Praca nie przeszła recenzji naukowej, a dokładność, przepustowość i opóźnienie zmierzył ten sam zespół, który firmuje metodę; niezależnych powtórzeń ani weryfikacji osób trzecich na razie nie ma. Udokumentowana analiza ogranicza się ponadto do czterech konkretnych modeli, głównie z rodziny Qwen3 oraz Phi-4-reasoning — repozytorium wspomina o opcjonalnym wsparciu dla DeepSeek-R1-Distill-Llama-8B — i wykazuje spadki na kodzie programistycznym, gdzie długość promptów szybko zjada stałą pojemność pamięci podręcznej. Testowane budżety — około 4-krotna kompresja, 3-krotna na LiveCodeBench — wybrali sami autorzy. Poza tym obszarem praca nie mówi nic: inne rodziny modeli, mocniejsza kompresja albo długie teksty, które nie są łańcuchami rozumowania i w których redundancji śladu — mechanizmu, jakim autorzy tłumaczą skuteczność losowości — po prostu nie ma. System napotyka też oczywistą przeszkodę logiczną wobec faktów rzadkich lub niepowtarzanych, które metoda losowa może usunąć bezpowrotnie.

Jeśli zewnętrzne weryfikacje potwierdzą liczby, wynik będzie dotyczył jednej precyzyjnej rubryki — który token wyrzucić z pamięci podręcznej, gdy model rozumuje — i podpowie, że tam kryterium wyboru waży mniej niż redundancja, którą ślad rozumowania wytwarza sam z siebie. — Olya