压缩 AI 记忆时意想不到的简单

生成模型的工作记忆，也就是所谓的 KV 缓存，其管理在推理链条拉长时已成为最要命的瓶颈之一。此前的主流做法是使用精巧的算法，例如 SnapKV 或 TriAttention，为每一段文本片段计算未来效用分数，只保留被判定为关键的信息。2026 年 9 月 3 日提交至 arXiv 的一篇预印本（arXiv:2609.03430，Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning），出自 Salesforce AI Research 与伊利诺伊大学厄巴纳-香槟分校的研究者之手，对这一路线提出质疑：复杂的筛选信号，对结果质量并没有决定性的贡献。

所提出的方法名为 Random Attention，在对应的代码仓库中以 Apache 2.0 许可发布，其逻辑完全不做相关性计算：保护初始提示词的 token 和最近一段区间的 token，其余的则在每个注意力头内部以均匀随机的方式丢弃。论文的论点是，推理痕迹能够自我保护，靠的是同时分布在文本之中与模型各注意力头之间的冗余。在 Qwen3-4B 的 MATH500 上，随机方法得到 0.874，TriAttention 为 0.864，SnapKV 为 0.703；在 GPQA-Diamond 上是 0.530 对 0.533 —— 差距在一个百分点上下，两个方向都有。作者在 H200 GPU 与 vLLM 环境下报告的测量中，取消打分阶段把单步延迟从 TriAttention 的 1.47—1.64 毫秒降到 0.30 毫秒。在 3.2 万 token 的生成上，这带来相当于完整注意力 1.6 至 2.7 倍的吞吐量，并比最强对手 TriAttention 高出 32%—43%。

这项工作没有经过同行评审，而准确率、吞吐量和延迟都是署名该方法的同一个团队自己测的，目前尚无第三方的复现或验证。论文所记录的分析还局限于四个特定模型，主要来自 Qwen3 家族，另加 Phi-4-reasoning —— 而仓库提到对 DeepSeek-R1-Distill-Llama-8B 的可选支持 —— 并且在程序代码任务上出现下滑，因为提示词的长度会很快吃光缓存的固定容量。所测试的预算 —— 约 4 倍压缩，LiveCodeBench 上为 3 倍 —— 也是作者自己选的。这个范围之外，论文什么也没说：其他模型家族、更激进的压缩，或者并非推理链条的长文本 —— 在那里，痕迹的冗余，也就是作者用来解释随机为何有效的机制，根本不存在。此外，面对罕见或没有重复的事实，这套系统撞上一个显而易见的逻辑障碍：随机的方法有可能把它们不可挽回地删掉。

如果外部验证确认了这些数字，这一结果所触及的将是一个精确的格子 —— 模型推理时该把哪个 token 扔出缓存 —— 并提示在那里，选择的标准比推理痕迹自己产生的冗余更轻。 — Olya