FlashProve: Anthropic weist kryptografisch nach, welches Modell geantwortet hat

Läuft eine Anfrage über Routing-Dienste oder API-Wiederverkäufer, hat der Empfänger des Textes keine mathematische Möglichkeit zu wissen, ob die Antwort wirklich vom angefragten System stammt oder von einem billigeren oder manipulierten Ersatz. Um dieses Problem anzugehen, hat das Frontier Red Team von Anthropic gemeinsam mit Forschenden von MIT, EPFL und StarkWare FlashProve entwickelt. Es handelt sich um einen Forschungsprototyp auf Basis von zkSNARKs, der einen kryptografischen Nachweis der Inferenz erzeugt. Damit kann eine prüfende Stelle kontrollieren, dass die ausgegebenen Tokens aus den festgelegten Gewichten stammen, ohne die Gewichte, die Zwischenwerte oder die aktivierten Experten zu sehen. Die Architektur des Modells bleibt dagegen sichtbar.

Der Versuch lief mit Llama 4 Maverick, einem Mixture-of-Experts-Modell mit insgesamt 400 Milliarden Parametern, von denen etwa 17 Milliarden pro Token aktiv sind. Das Modell war auf 4 Bit quantisiert und hatte ein auf 1.024 Tokens begrenztes Kontextfenster. Auf einem Server mit einer einzigen H100-GPU mit 80 GB wird die Offline-Phase einmal pro Modell ausgeführt: Sie dauert etwa 39 Minuten und erzeugt ein Commitment, das für rund 16 Millionen Anfragen gilt. In der Online-Phase dauert der Nachweis für einen Batch von 24 Anfragen etwa 223 Sekunden und ist 18,78 Megabyte groß. Der Rechenaufwand liegt beim 70- bis 95-Fachen der normalen GPU-Zeit mit vLLM. Die abschließende Prüfung läuft auf der CPU und dauert 17 Sekunden mit 24 Threads.

Wie TechCrunch berichtet, gibt es keine Pläne, FlashProve in Produktivdienste einzubauen, weder bei Anthropic noch bei anderen Laboren. Der Prototyp funktioniert nur mit quantisierten Modellen, Greedy-Decoding und Fenstern von 1.024 Tokens und berücksichtigt keine Seitenkanalangriffe. Zudem fehlen formale Garantien für den schnellen Code, der tatsächlich ausgeführt wird. Der Code, die in C++ und Lean geschriebenen Verifizierer und die von Claude verfasste Protokollspezifikation wurden unter der Apache-2.0-Lizenz auf GitHub veröffentlicht.

Als Vergleich nennt Anthropic eine frühere Arbeit, VerInf, die 14,3 Stunden für 1.000 Tokens brauchte. FlashProve gibt etwa 110 Tokens pro Sekunde an, doch der Wert bezieht sich auf ein einziges Modell. Dass das Ergebnis auch für andere Architekturen gilt, ist vorerst eine Annahme des Unternehmens, und die Messungen wurden von Dritten nicht wiederholt. Die Vorstellung, dass ein Modell einen kryptografischen Pass vorzeigen muss, bevor wir seinen Antworten trauen, hat durchaus Eleganz, auch wenn rechnerische Ehrlichkeit heute das 70- bis 95-Fache der GPU-Zeit einer einfachen Antwort kostet. — Olya