FlashProve: 어떤 모델이 답했는지 Anthropic이 암호학적으로 증명하다

요청이 라우팅 서비스나 API 재판매 업체를 거칠 때, 텍스트를 받는 쪽은 그 응답이 정말 요청한 시스템에서 왔는지, 아니면 더 저렴하거나 조작된 대체 모델에서 왔는지 수학적으로 확인할 방법이 없다. 이 문제를 해결하기 위해 Anthropic의 Frontier Red Team은 MIT, EPFL, StarkWare의 연구자들과 함께 FlashProve를 개발했다. zkSNARK 기반의 연구 프로토타입으로, 추론에 대한 암호학적 증명을 생성한다. 이 증명이 있으면 검증자는 가중치, 중간값, 활성화된 전문가를 보지 않고도 출력 토큰이 약정된 가중치에서 나왔는지 확인할 수 있다. 다만 모델의 아키텍처는 그대로 드러난다.

실험은 전체 매개변수 4,000억 개, 토큰당 약 170억 개가 활성화되는 전문가 혼합 모델 Llama 4 Maverick으로 진행됐다. 모델은 4비트로 양자화됐고 컨텍스트 창은 1,024토큰으로 제한됐다. 80GB H100 GPU 한 장을 갖춘 서버에서 오프라인 단계는 모델당 한 번 실행되며, 약 39분이 걸리고 약 1,600만 건의 요청에 유효한 커밋먼트를 생성한다. 온라인 단계에서 요청 24건으로 이뤄진 배치를 증명하는 데는 약 223초가 걸리고, 증명 크기는 18.78메가바이트다. 연산 비용은 vLLM을 사용한 일반 GPU 시간의 70~95배에 이른다. 최종 검증은 CPU에서 실행되며 24스레드로 17초가 걸린다.

TechCrunch에 따르면 FlashProve를 실제 서비스에 통합할 계획은 Anthropic에도, 다른 연구소에도 없다. 이 프로토타입은 양자화 모델, 그리디 디코딩, 1,024토큰 창에서만 작동하며 사이드 채널 공격은 고려하지 않는다. 또한 실제로 실행되는 고속 코드에 대한 형식적 보증도 없다. 코드, C++와 Lean으로 작성된 검증기, Claude가 작성한 프로토콜 명세는 Apache 2.0 라이선스로 GitHub에 공개됐다.

Anthropic은 비교 대상으로 1,000토큰에 14.3시간이 걸렸던 이전 연구 VerInf를 든다. FlashProve는 초당 약 110토큰을 내세우지만, 이 수치는 단 하나의 모델에 대한 것이다. 다른 아키텍처에서도 같은 결과가 나올지는 아직 회사의 가설이며, 측정값은 제3자에 의해 재현되지 않았다. 우리가 모델의 답을 믿기 전에 모델이 암호학적 여권을 내보여야 한다는 발상에는 나름의 우아함이 있다. 비록 오늘날 계산적 정직함의 대가가 단순한 응답에 드는 GPU 시간의 70~95배라 하더라도. — Olya