La simplicité inattendue de la compression de la mémoire des IA

La gestion de la mémoire de travail des modèles génératifs, le fameux cache KV, est devenue l'un des goulets d'étranglement les plus critiques dès que les chaînes de raisonnement s'allongent. Jusqu'ici la réponse dominante passait par des algorithmes sophistiqués, comme SnapKV ou TriAttention, conçus pour calculer un score d'utilité future pour chaque fragment de texte et ne conserver que ce qui est jugé crucial. Un preprint déposé sur arXiv le 3 septembre 2026 (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning) par des chercheurs de Salesforce AI Research et de la University of Illinois Urbana-Champaign remet cette approche en cause : les signaux de sélection complexes, soutiennent-ils, n'apportent rien de déterminant à la qualité du résultat.

La technique proposée, appelée Random Attention et diffusée sous licence Apache 2.0 dans son dépôt de code, adopte une logique dépourvue de tout calcul de pertinence : elle protège les tokens du prompt initial et ceux de la fenêtre la plus récente, et écarte les autres de façon uniformément aléatoire à l'intérieur de chaque tête d'attention. Selon la thèse de l'article, les traces de raisonnement se protègent d'elles-mêmes, grâce à une redondance répartie à la fois dans le texte et entre les têtes du modèle. Sur MATH500 avec Qwen3-4B, la méthode aléatoire marque 0,874 contre 0,864 pour TriAttention et 0,703 pour SnapKV ; sur GPQA-Diamond, 0,530 contre 0,533 — des écarts de l'ordre du point de pourcentage, dans les deux sens. Dans les mesures rapportées par les auteurs sur un GPU H200 sous vLLM, la suppression de la phase de scoring fait tomber la latence du passage de 1,47-1,64 milliseconde chez TriAttention à 0,30 milliseconde. Sur des générations de 32 mille tokens, cela donne un débit de 1,6 à 2,7 fois celui de l'attention complète, et supérieur de 32 à 43% à TriAttention, le concurrent le plus sérieux.

Le travail n'est pas passé par une relecture par les pairs, et c'est la même équipe qui signe la méthode qui en a mesuré la précision, le débit et la latence, sans qu'aucune reproduction ni vérification indépendante ne soit encore disponible. L'analyse documentée se limite en outre à quatre modèles précis, pour l'essentiel de la famille Qwen3 auxquels s'ajoute Phi-4-reasoning — le dépôt mentionnant une prise en charge optionnelle de DeepSeek-R1-Distill-Llama-8B — et elle fléchit sur le code informatique, où la longueur des prompts épuise vite la capacité fixe du cache. Les budgets testés — environ 4 fois de compression, 3 sur LiveCodeBench — ont été choisis par les auteurs. Hors de ce périmètre, l'article ne dit rien : autres familles de modèles, compressions plus poussées, ou textes longs qui ne sont pas des chaînes de raisonnement, où la redondance de la trace — le mécanisme même par lequel les auteurs expliquent que le hasard fonctionne — n'existe tout simplement pas. Le système bute par ailleurs sur un obstacle logique évident face aux faits rares ou sans répétition, que la méthode aléatoire risque de supprimer sans retour.

Si les vérifications extérieures confirment les chiffres, le résultat concernera une case bien délimitée — quel token jeter du cache pendant qu'un modèle raisonne — et suggérera que là, le critère de choix pèse moins que la redondance que la trace de raisonnement produit d'elle-même. — Olya