FlashProve：どのモデルが回答したかをAnthropicが暗号的に証明

リクエストがルーティングサービスやAPIの再販業者を経由する場合、テキストを受け取る側には、その回答が本当に指定したシステムから来たのか、それとも安価な代替品や改ざんされたものなのかを数学的に確かめる手段がない。この問題に取り組むため、AnthropicのFrontier Red Teamは、MIT、EPFL、StarkWareの研究者と共同でFlashProveを開発した。zkSNARKに基づく研究プロトタイプで、推論の暗号的な証明を生成する。この証明を使えば、検証者は重みや中間値、活性化されたエキスパートを見ることなく、出力トークンがコミットされた重みから生成されたことを確認できる。ただし、モデルのアーキテクチャは公開されたままとなる。

実験には、総パラメータ数4,000億、トークンあたり約170億がアクティブなMixture-of-ExpertsモデルであるLlama 4 Maverickが使われた。モデルは4ビットに量子化され、コンテキストウィンドウは1,024トークンに制限されていた。80GBのH100 GPUを1基搭載したサーバーで、オフライン段階はモデルごとに1回実行する。所要時間は約39分で、約1,600万件のリクエストに有効なコミットメントが生成される。オンライン段階では、24件のリクエストからなるバッチの証明に約223秒かかり、サイズは18.78メガバイトとなる。計算コストは、vLLMによる通常のGPU時間の70〜95倍だ。最終的な検証はCPU上で行われ、24スレッドで17秒かかる。

TechCrunchによれば、FlashProveを本番サービスに組み込む計画は、Anthropicにも他の研究機関にもない。プロトタイプが動作するのは量子化モデル、貪欲デコーディング、1,024トークンのウィンドウに限られ、サイドチャネル攻撃は考慮されていない。さらに、実際に実行される高速なコードについては形式的な保証がない。コード、C++とLeanで書かれた検証器、そしてClaudeが作成したプロトコル仕様は、Apache 2.0ライセンスでGitHubに公開されている。

Anthropicは比較対象として、1,000トークンに14.3時間を要した先行研究VerInfを挙げている。FlashProveは毎秒約110トークンをうたうが、この数値は1つのモデルに関するものにすぎない。他のアーキテクチャでも同じ結果が得られるかどうかは、現時点では同社の仮説であり、測定値は第三者によって再現されていない。モデルの回答を信頼する前に、モデルが暗号のパスポートを提示すべきだという発想には、それなりの優雅さがある。たとえ今のところ、計算上の誠実さの代償が、単なる回答のGPU時間の70〜95倍だとしても。— Olya