De onverwachte eenvoud van het comprimeren van AI-geheugen

Het beheer van het werkgeheugen in generatieve modellen, de zogeheten KV-cache, is een van de meest kritieke knelpunten geworden zodra redeneerketens lang worden. Tot nu toe was de dominante oplossing een reeks geraffineerde algoritmen, zoals SnapKV of TriAttention, ontworpen om voor elk tekstfragment een score voor toekomstig nut te berekenen en alleen te bewaren wat cruciaal wordt geacht. Een preprint die op 3 september 2026 op arXiv is geplaatst (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning), van onderzoekers van Salesforce AI Research en de University of Illinois Urbana-Champaign, zet die aanpak op losse schroeven: complexe selectiesignalen zouden geen doorslaggevende bijdrage leveren aan de kwaliteit van het resultaat.

De voorgestelde techniek, Random Attention genoemd en met Apache 2.0-licentie in de bijbehorende coderepository gepubliceerd, volgt een logica zonder enige relevantieberekening: ze beschermt de tokens van de oorspronkelijke prompt en die van het meest recente venster, en gooit de rest uniform willekeurig weg binnen elke attention-head. Volgens de stelling van het paper beschermen redeneersporen zichzelf, dankzij redundantie die zowel door de tekst als over de heads van het model verspreid ligt. Op MATH500 met Qwen3-4B scoort de willekeurige methode 0,874 tegen 0,864 van TriAttention en 0,703 van SnapKV; op GPQA-Diamond 0,530 tegen 0,533 — verschillen in de orde van een procentpunt, in beide richtingen. In de metingen die de auteurs rapporteren op een H200-GPU met vLLM verlaagt het schrappen van de scoringsfase de latency per stap van de 1,47-1,64 milliseconden van TriAttention naar 0,30 milliseconden. Bij generaties van 32 duizend tokens levert dat een doorvoer op van 1,6 tot 2,7 keer die van volledige attention, en 32-43% hoger dan TriAttention, de sterkste concurrent.

Het werk is niet door peer review gegaan, en het is hetzelfde team dat de methode tekent dat nauwkeurigheid, doorvoer en latency heeft gemeten; onafhankelijke reproducties of controles door derden zijn er nog niet. De gedocumenteerde analyse blijft bovendien beperkt tot vier specifieke modellen, grotendeels uit de Qwen3-familie plus Phi-4-reasoning — terwijl de repository optionele ondersteuning voor DeepSeek-R1-Distill-Llama-8B noemt — en vertoont terugval op programmeercode, waar de lengte van de prompts de vaste capaciteit van de cache snel opsoupeert. De geteste budgetten — ongeveer 4 keer compressie, 3 op LiveCodeBench — zijn door de auteurs gekozen. Buiten die omheining zegt het paper niets: andere modelfamilies, agressievere compressie, of lange teksten die geen redeneerketens zijn, waar de redundantie van het spoor — precies het mechanisme waarmee de auteurs verklaren waarom toeval werkt — eenvoudigweg ontbreekt. Het systeem stuit daarnaast op een duidelijk logisch obstakel bij zeldzame of niet-herhaalde feiten, die de willekeurige methode onherstelbaar dreigt te wissen.

Als externe controles de cijfers bevestigen, betreft het resultaat één precies vakje — welk token uit de cache vliegt terwijl een model redeneert — en suggereert het dat daar het keuzecriterium minder weegt dan de redundantie die het redeneerspoor vanzelf voortbrengt. — Olya