FlashProve: Anthropic bewijst cryptografisch welk model antwoordde

Wanneer een verzoek via routeringsdiensten of API-wederverkopers loopt, heeft de ontvanger van de tekst geen wiskundige manier om te weten of het antwoord echt van het gevraagde systeem komt of van een goedkopere of gemanipuleerde vervanger. Om dat probleem aan te pakken heeft het Frontier Red Team van Anthropic FlashProve ontwikkeld, samen met onderzoekers van MIT, EPFL en StarkWare. Het is een onderzoeksprototype op basis van zkSNARK's dat een cryptografisch bewijs van de inferentie produceert. Met dat bewijs kan een controleur nagaan dat de uitvoertokens afkomstig zijn van de vastgelegde gewichten, zonder de gewichten, de tussenwaarden of de geactiveerde experts te zien. De architectuur van het model blijft wel zichtbaar.

Het experiment werd uitgevoerd met Llama 4 Maverick, een mixture-of-expertsmodel met in totaal 400 miljard parameters, waarvan ongeveer 17 miljard actief per token. Het model was gekwantiseerd naar 4 bits en had een contextvenster van maximaal 1.024 tokens. Op een server met één H100-gpu van 80 GB wordt de offlinefase eenmaal per model uitgevoerd: die duurt ongeveer 39 minuten en levert een commitment op dat geldig is voor zo'n 16 miljoen verzoeken. In de onlinefase kost het bewijs voor een batch van 24 verzoeken ongeveer 223 seconden en is het 18,78 megabyte groot. De rekenkosten bedragen 70 tot 95 keer de gewone gpu-tijd met vLLM. De uiteindelijke verificatie draait op de cpu en duurt 17 seconden op 24 threads.

Volgens TechCrunch zijn er geen plannen om FlashProve in productiediensten op te nemen, niet bij Anthropic en niet bij andere labs. Het prototype werkt alleen met gekwantiseerde modellen, greedy decoding en vensters van 1.024 tokens, en houdt geen rekening met side-channelaanvallen. Bovendien ontbreken formele garanties voor de snelle code die daadwerkelijk wordt uitgevoerd. De code, de in C++ en Lean geschreven verifiers en de door Claude opgestelde protocolspecificatie zijn onder de Apache 2.0-licentie op GitHub gepubliceerd.

Als vergelijking noemt Anthropic eerder werk, VerInf, dat 14,3 uur nodig had voor 1.000 tokens. FlashProve claimt ongeveer 110 tokens per seconde, maar dat cijfer geldt voor één model. Of het resultaat ook voor andere architecturen opgaat, is voorlopig een hypothese van het bedrijf, en de metingen zijn niet door derden herhaald. Het idee dat een model een cryptografisch paspoort moet tonen voordat we zijn antwoorden vertrouwen, heeft iets elegants, ook al kost rekenkundige eerlijkheid vandaag 70 tot 95 keer de gpu-tijd van het gewone antwoord. — Olya