La semplicità inaspettata nella compressione della memoria dell'IA

La gestione della memoria di lavoro nei modelli generativi, la cosiddetta cache KV, è diventata uno dei colli di bottiglia più critici quando si affrontano catene di ragionamento estese. Finora la soluzione dominante è stata l'impiego di algoritmi sofisticati, come SnapKV o TriAttention, progettati per calcolare un punteggio di utilità futura per ciascun frammento di testo e conservare solo le informazioni ritenute cruciali. Un preprint depositato su arXiv il 3 settembre 2026 (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning) dai ricercatori di Salesforce AI Research e della University of Illinois Urbana-Champaign mette in discussione questo approccio, sostenendo che i segnali di selezione complessi non apportino un contributo determinante alla qualità del risultato.

La tecnica proposta, chiamata Random Attention e distribuita con licenza Apache 2.0 nel relativo repository di codice, adotta una logica priva di calcoli di pertinenza: protegge i token del prompt iniziale e quelli dell'intervallo più recente, scartando i restanti in modo uniformemente casuale all'interno di ciascuna testa di attenzione. Secondo la tesi del paper, le tracce di ragionamento si proteggono da sole grazie alla ridondanza distribuita sia nel testo sia tra le teste del modello. Su MATH500 con Qwen3-4B il metodo casuale segna 0,874 contro 0,864 di TriAttention e 0,703 di SnapKV; su GPQA-Diamond 0,530 contro 0,533 — scarti nell'ordine del punto percentuale, in entrambe le direzioni. Nelle misurazioni riportate dagli autori su una GPU H200 con ambiente vLLM, l'azzeramento della fase di scoring riduce la latenza del passaggio dai 1,47-1,64 millisecondi di TriAttention a 0,30 millisecondi. Su generazioni da 32 mila token, questo produce un throughput da 1,6 a 2,7 volte quello dell'attenzione piena, e superiore del 32-43% a TriAttention, il concorrente più forte.

Il lavoro non è passato per la revisione tra pari, ed è la stessa squadra che firma il metodo ad averne misurato accuratezza, throughput e latenza, senza che siano ancora disponibili riproduzioni o verifiche indipendenti da parte di terzi. L'analisi documentata nel paper si limita inoltre a quattro modelli specifici, per lo più della famiglia Qwen3 oltre a Phi-4-reasoning — mentre il repository cita il supporto opzionale per DeepSeek-R1-Distill-Llama-8B — e mostra flessioni sul codice informatico, dove la lunghezza dei prompt consuma rapidamente la capienza fissa della cache. I budget testati — circa 4 volte di compressione, 3 su LiveCodeBench — li hanno scelti gli autori. Fuori da questo perimetro il paper non dice nulla: altre famiglie di modelli, compressioni più spinte, o testi lunghi che non siano catene di ragionamento, dove la ridondanza della traccia — il meccanismo con cui gli autori spiegano perché il caso funziona — semplicemente non c'è. Il sistema trova inoltre un ostacolo logico evidente di fronte a fatti rari o privi di ripetizione, che il metodo casuale rischia di eliminare irrimediabilmente.

Se le verifiche esterne confermeranno le cifre, il risultato riguarderà una casella precisa — quale token buttare dalla cache mentre un modello ragiona — e suggerirà che lì il criterio di scelta pesa meno della ridondanza che la traccia di ragionamento produce da sé. — Olya