FlashProve: Anthropic prova criptograficamente qual modelo respondeu

Quando uma requisição passa por serviços de roteamento ou revendedores de API, quem recebe o texto não tem um meio matemático de saber se a resposta veio de fato do sistema solicitado ou de um substituto mais barato ou adulterado. Para enfrentar o problema, o Frontier Red Team da Anthropic desenvolveu o FlashProve em conjunto com pesquisadores do MIT, da EPFL e da StarkWare. Trata-se de um protótipo de pesquisa baseado em zkSNARK que gera uma prova criptográfica da inferência. Com essa prova, quem verifica pode confirmar que os tokens de saída vêm dos pesos comprometidos, sem ver os pesos, os valores intermediários ou os especialistas ativados. A arquitetura do modelo, porém, continua visível.

O experimento foi feito com o Llama 4 Maverick, um modelo de mistura de especialistas com 400 bilhões de parâmetros no total e cerca de 17 bilhões ativos por token. O modelo estava quantizado em 4 bits e tinha uma janela de contexto limitada a 1.024 tokens. Em um servidor com uma única GPU H100 de 80 GB, a fase offline é executada uma vez por modelo: leva cerca de 39 minutos e produz um commitment válido para aproximadamente 16 milhões de requisições. Na fase online, a prova de um lote de 24 requisições leva cerca de 223 segundos e ocupa 18,78 megabytes. O custo computacional fica entre 70 e 95 vezes o tempo de GPU comum com vLLM. A verificação final roda em CPU e leva 17 segundos com 24 threads.

Segundo o TechCrunch, não há planos de integrar o FlashProve a serviços em produção, nem na Anthropic nem em outros laboratórios. O protótipo só funciona com modelos quantizados, decodificação gulosa e janelas de 1.024 tokens, e não considera ataques de canal lateral. Além disso, faltam garantias formais sobre o código rápido que é de fato executado. O código, os verificadores escritos em C++ e Lean e a especificação do protocolo redigida pelo Claude foram publicados no GitHub sob a licença Apache 2.0.

Como referência, a Anthropic cita um trabalho anterior, o VerInf, que levava 14,3 horas para 1.000 tokens. O FlashProve declara cerca de 110 tokens por segundo, mas o número se refere a um único modelo. Que o resultado valha também para outras arquiteturas é, por enquanto, uma hipótese da empresa, e as medições não foram replicadas por terceiros. A ideia de que um modelo precise mostrar um passaporte criptográfico antes de confiarmos em suas respostas tem sua elegância, ainda que hoje o preço da honestidade computacional seja de 70 a 95 vezes o tempo de GPU da simples resposta. — Olya