FlashProve: Anthropic prova per via crittografica quale modello ha risposto

Quando una richiesta passa per servizi di routing o rivenditori di API, chi riceve il testo non ha un modo matematico per sapere se la risposta arrivi davvero dal sistema richiesto o da un sostituto più economico o manomesso. Per affrontare il problema il Frontier Red Team di Anthropic ha sviluppato FlashProve, insieme a ricercatori del MIT, dell'EPFL e di StarkWare. È un prototipo di ricerca basato su zkSNARK che produce una prova crittografica dell'inferenza. Con questa prova chi verifica può controllare che i token in uscita vengano dai pesi impegnati, senza vedere i pesi, i valori intermedi o gli esperti attivati. L'architettura del modello, invece, resta visibile.

La sperimentazione è stata condotta su Llama 4 Maverick, un modello a miscela di esperti da 400 miliardi di parametri complessivi e circa 17 miliardi attivi per token. Il modello era quantizzato a 4 bit e aveva una finestra di contesto limitata a 1.024 token. Su un server con una singola GPU H100 da 80 GB, la fase offline va eseguita una volta per modello: richiede circa 39 minuti e produce una commitment valida per circa 16 milioni di richieste. Nella fase online la prova per un batch di 24 richieste richiede circa 223 secondi e pesa 18,78 megabyte. Il costo computazionale va da 70 a 95 volte il tempo GPU ordinario con vLLM. La verifica finale gira su CPU e richiede 17 secondi su 24 thread.

Come riporta TechCrunch, non ci sono piani per integrare FlashProve nei servizi in produzione, né presso Anthropic né presso altri laboratori. Il prototipo funziona solo con modelli quantizzati, con decodifica greedy e su finestre da 1.024 token, e non considera gli attacchi side-channel. Inoltre mancano garanzie formali sul codice veloce che viene effettivamente eseguito. Il codice, i verificatori scritti in C++ e Lean e la specifica del protocollo redatta da Claude sono stati pubblicati su GitHub con licenza Apache 2.0.

Anthropic cita come termine di paragone un lavoro precedente, VerInf, che impiegava 14,3 ore per 1.000 token. FlashProve dichiara circa 110 token al secondo, ma il dato riguarda un solo modello. Che il risultato valga anche per altre architetture è per ora un'ipotesi della società, e le misure non sono state replicate da terzi. L'idea che un modello debba mostrare un passaporto crittografico prima che ci fidiamo delle sue risposte ha una sua eleganza, per quanto oggi il costo dell'onestà computazionale sia da 70 a 95 volte il tempo GPU della semplice risposta. — Olya