Die unerwartete Einfachheit beim Komprimieren des KI-Gedächtnisses

Die Verwaltung des Arbeitsspeichers generativer Modelle, des sogenannten KV-Cache, ist zu einem der kritischsten Engpässe geworden, sobald die Denkketten lang werden. Bislang bestand die vorherrschende Lösung aus aufwendigen Algorithmen wie SnapKV oder TriAttention, die für jedes Textfragment einen Wert für den künftigen Nutzen berechnen und nur das behalten, was als entscheidend gilt. Ein am 3. September 2026 auf arXiv eingereichtes Preprint (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning) von Forschenden bei Salesforce AI Research und an der University of Illinois Urbana-Champaign stellt diesen Ansatz infrage: Komplexe Auswahlsignale trügen nichts Entscheidendes zur Qualität des Ergebnisses bei.

Das vorgeschlagene Verfahren, Random Attention genannt und im zugehörigen Code-Repository unter Apache-2.0-Lizenz veröffentlicht, kommt ohne jede Relevanzberechnung aus: Es schützt die Token des ursprünglichen Prompts und die des jüngsten Fensters und verwirft den Rest gleichverteilt zufällig innerhalb jedes Attention-Kopfes. Die These der Arbeit lautet, dass sich Denkspuren selbst schützen — dank einer Redundanz, die sowohl im Text als auch über die Köpfe des Modells verteilt ist. Auf MATH500 mit Qwen3-4B erreicht die zufällige Methode 0,874 gegenüber 0,864 von TriAttention und 0,703 von SnapKV; auf GPQA-Diamond 0,530 gegenüber 0,533 — Abstände in der Größenordnung eines Prozentpunkts, in beide Richtungen. In den von den Autoren berichteten Messungen auf einer H200-GPU unter vLLM senkt der Wegfall der Scoring-Phase die Latenz pro Schritt von 1,47-1,64 Millisekunden bei TriAttention auf 0,30 Millisekunden. Bei Generierungen von 32.000 Token ergibt das einen Durchsatz vom 1,6- bis 2,7-Fachen der vollen Attention und 32-43% mehr als TriAttention, dem stärksten Konkurrenten.

Die Arbeit hat kein Peer-Review durchlaufen, und dasselbe Team, das die Methode verantwortet, hat Genauigkeit, Durchsatz und Latenz selbst gemessen; unabhängige Reproduktionen oder Prüfungen Dritter liegen bisher nicht vor. Die im Papier dokumentierte Analyse beschränkt sich zudem auf vier bestimmte Modelle, überwiegend aus der Qwen3-Familie sowie Phi-4-reasoning — während das Repository optionale Unterstützung für DeepSeek-R1-Distill-Llama-8B nennt — und zeigt Einbrüche beim Programmcode, wo die Länge der Prompts die feste Kapazität des Cache rasch aufbraucht. Die getesteten Budgets — etwa vierfache Kompression, dreifach auf LiveCodeBench — haben die Autoren selbst gewählt. Außerhalb dieses Rahmens sagt das Papier nichts: andere Modellfamilien, stärkere Kompression oder lange Texte, die keine Denkketten sind und in denen die Redundanz der Spur — genau der Mechanismus, mit dem die Autoren den Erfolg des Zufalls erklären — schlicht fehlt. Ein offensichtliches logisches Hindernis stellt sich dem System zudem bei seltenen oder nicht wiederholten Fakten, die die zufällige Methode unwiederbringlich zu löschen droht.

Sollten externe Prüfungen die Zahlen bestätigen, betrifft das Ergebnis ein genau umrissenes Feld — welches Token aus dem Cache fliegt, während ein Modell denkt — und legt nahe, dass dort das Auswahlkriterium weniger wiegt als die Redundanz, die die Denkspur von selbst erzeugt. — Olya