FlashProve: Anthropic kryptograficznie dowodzi, który model udzielił odpowiedzi

Gdy zapytanie przechodzi przez usługi routingu lub pośredników sprzedających dostęp do API, odbiorca tekstu nie ma matematycznego sposobu, by sprawdzić, czy odpowiedź naprawdę pochodzi z zamówionego systemu, czy z tańszego lub zmanipulowanego zamiennika. Aby zmierzyć się z tym problemem, Frontier Red Team Anthropic opracował FlashProve wspólnie z badaczami z MIT, EPFL i StarkWare. To prototyp badawczy oparty na zkSNARK, który tworzy kryptograficzny dowód wnioskowania. Dzięki niemu weryfikujący może sprawdzić, że tokeny wyjściowe pochodzą z zadeklarowanych wag, nie widząc samych wag, wartości pośrednich ani aktywowanych ekspertów. Architektura modelu pozostaje natomiast jawna.

Eksperyment przeprowadzono na Llama 4 Maverick, modelu typu mixture of experts z 400 miliardami parametrów łącznie i około 17 miliardami aktywnymi na token. Model był skwantyzowany do 4 bitów, a okno kontekstu ograniczono do 1024 tokenów. Na serwerze z jednym GPU H100 80 GB faza offline jest wykonywana raz na model: trwa około 39 minut i tworzy zobowiązanie ważne dla mniej więcej 16 milionów zapytań. W fazie online dowód dla partii 24 zapytań powstaje w około 223 sekundy i waży 18,78 megabajta. Koszt obliczeniowy wynosi od 70 do 95 razy więcej niż zwykły czas GPU z vLLM. Końcowa weryfikacja działa na CPU i zajmuje 17 sekund na 24 wątkach.

Jak podaje TechCrunch, nie ma planów wdrożenia FlashProve w usługach produkcyjnych ani w Anthropic, ani w innych laboratoriach. Prototyp działa tylko z modelami skwantyzowanymi, dekodowaniem zachłannym i oknami 1024 tokenów, a ataki typu side-channel nie są w nim uwzględnione. Brakuje też formalnych gwarancji dla szybkiego kodu, który faktycznie jest wykonywany. Kod, weryfikatory napisane w C++ i Lean oraz specyfikacja protokołu przygotowana przez Claude'a zostały opublikowane na GitHubie na licencji Apache 2.0.

Jako punkt odniesienia Anthropic przywołuje wcześniejszą pracę VerInf, która potrzebowała 14,3 godziny na 1000 tokenów. FlashProve deklaruje około 110 tokenów na sekundę, ale ta liczba dotyczy jednego modelu. To, czy wynik sprawdzi się w innych architekturach, jest na razie hipotezą firmy, a pomiarów nie powtórzyły strony trzecie. Pomysł, że model powinien okazać kryptograficzny paszport, zanim zaufamy jego odpowiedziom, ma w sobie pewną elegancję, nawet jeśli dziś cena obliczeniowej uczciwości to od 70 do 95 razy więcej czasu GPU niż sama odpowiedź. — Olya