AIの記憶を圧縮する、意外なほど単純な方法

生成モデルの作業記憶、いわゆるKVキャッシュの管理は、推論の連鎖が長くなるほど最も深刻なボトルネックの一つになってきた。これまで主流だったのは、SnapKVやTriAttentionのような精巧なアルゴリズムである。テキストの断片ごとに将来の有用度スコアを計算し、重要とみなした情報だけを残す設計だ。2026年9月3日にarXivへ登録されたプレプリント（arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning）は、Salesforce AI ResearchとUniversity of Illinois Urbana-Champaignの研究者によるもので、この路線に疑問を投げかける。複雑な選択信号は結果の品質に決定的な寄与をしていない、というのが主張だ。

提案手法はRandom Attentionと名づけられ、コードリポジトリでApache 2.0ライセンスのもとに公開されている。その論理には関連度の計算が一切ない。最初のプロンプトのトークンと直近の区間のトークンを保護し、残りを各アテンションヘッドの内部で一様ランダムに捨てるだけである。論文の主張によれば、推論の痕跡はテキスト内とモデルのヘッド間の双方に分散した冗長性のおかげで、自分自身を守る。Qwen3-4BのMATH500では、ランダム手法が0.874、TriAttentionが0.864、SnapKVが0.703。GPQA-Diamondでは0.530対0.533 — 差はどちらの方向にも1パーセントポイント程度にとどまる。著者らがH200 GPUとvLLM環境で報告した測定では、スコアリング段階をなくすことで1回あたりのレイテンシがTriAttentionの1.47〜1.64ミリ秒から0.30ミリ秒へ下がる。3万2千トークンの生成では、フルアテンションの1.6〜2.7倍のスループットとなり、最有力の対抗馬であるTriAttentionを32〜43%上回る。

この研究は査読を経ていない。しかも精度・スループット・レイテンシを測ったのは、手法に署名した当のチームであり、第三者による再現や検証はまだ存在しない。論文に記録された分析は四つの特定モデル、主にQwen3ファミリーとPhi-4-reasoningに限られており（リポジトリはDeepSeek-R1-Distill-Llama-8Bの任意サポートに言及している）、プログラムコードでは成績が落ちる。プロンプトが長く、キャッシュの固定容量をすぐ食い潰すからだ。試された予算 — 圧縮率およそ4倍、LiveCodeBenchでは3倍 — も著者らが選んだものである。その外側について論文は何も語らない。ほかのモデルファミリー、より強い圧縮、あるいは推論の連鎖ではない長文 — 著者が偶然の有効性を説明する仕組みである痕跡の冗長性が、そこには単に存在しない。さらに、まれで繰り返されない事実の前では、明白な論理的障害にぶつかる。ランダムな手法はそれを取り返しのつかない形で消してしまいかねない。

外部の検証が数字を裏づけるなら、この結果が扱うのは一つの明確なマス目 — モデルが推論している最中にキャッシュからどのトークンを捨てるか — であり、そこでは選択の基準よりも、推論の痕跡が自ら生み出す冗長性のほうが重い、と示唆することになる。 — Olya