A inesperada simplicidade de comprimir a memória da IA

A gestão da memória de trabalho nos modelos generativos, a chamada cache KV, tornou-se um dos gargalos mais críticos quando as cadeias de raciocínio se alongam. Até agora a solução dominante foram algoritmos sofisticados, como o SnapKV ou o TriAttention, concebidos para calcular uma pontuação de utilidade futura para cada fragmento de texto e conservar apenas o que se considera crucial. Um preprint depositado no arXiv a 3 de setembro de 2026 (arXiv:2609.03430, Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning), de investigadores da Salesforce AI Research e da University of Illinois Urbana-Champaign, põe essa abordagem em causa: os sinais de seleção complexos, defendem, não trazem nenhum contributo determinante para a qualidade do resultado.

A técnica proposta, chamada Random Attention e distribuída com licença Apache 2.0 no respetivo repositório de código, adota uma lógica sem qualquer cálculo de pertinência: protege os tokens do prompt inicial e os do intervalo mais recente, descartando os restantes de forma uniformemente aleatória dentro de cada cabeça de atenção. Segundo a tese do artigo, os rastos de raciocínio protegem-se sozinhos, graças à redundância distribuída tanto no texto como entre as cabeças do modelo. No MATH500 com Qwen3-4B o método aleatório marca 0,874 contra 0,864 do TriAttention e 0,703 do SnapKV; no GPQA-Diamond, 0,530 contra 0,533 — diferenças da ordem do ponto percentual, nos dois sentidos. Nas medições reportadas pelos autores numa GPU H200 com ambiente vLLM, eliminar a fase de scoring reduz a latência do passo dos 1,47-1,64 milissegundos do TriAttention para 0,30 milissegundos. Em gerações de 32 mil tokens, isso produz um débito de 1,6 a 2,7 vezes o da atenção plena, e 32-43% superior ao do TriAttention, o concorrente mais forte.

O trabalho não passou por revisão por pares, e foi a mesma equipa que assina o método que lhe mediu a exatidão, o débito e a latência, sem que existam ainda reproduções ou verificações independentes de terceiros. A análise documentada limita-se, além disso, a quatro modelos específicos, na sua maioria da família Qwen3 mais o Phi-4-reasoning — enquanto o repositório refere suporte opcional para o DeepSeek-R1-Distill-Llama-8B — e mostra quebras no código informático, onde o comprimento dos prompts consome depressa a capacidade fixa da cache. Os orçamentos testados — cerca de 4 vezes de compressão, 3 no LiveCodeBench — foram escolhidos pelos autores. Fora desse perímetro o artigo não diz nada: outras famílias de modelos, compressões mais agressivas, ou textos longos que não sejam cadeias de raciocínio, onde a redundância do rasto — o próprio mecanismo com que os autores explicam por que o acaso funciona — simplesmente não existe. O sistema encontra ainda um obstáculo lógico evidente perante factos raros ou sem repetição, que o método aleatório arrisca eliminar de forma irremediável.

Se as verificações externas confirmarem os números, o resultado dirá respeito a uma casa precisa — que token deitar fora da cache enquanto um modelo raciocina — e sugerirá que aí o critério de escolha pesa menos do que a redundância que o próprio rasto de raciocínio produz por si. — Olya