FlashProve: Anthropic demuestra criptográficamente qué modelo ha respondido

Cuando una petición pasa por servicios de enrutamiento o revendedores de API, quien recibe el texto no tiene forma matemática de saber si la respuesta procede realmente del sistema solicitado o de un sustituto más barato o manipulado. Para abordar el problema, el Frontier Red Team de Anthropic ha desarrollado FlashProve junto con investigadores del MIT, la EPFL y StarkWare. Es un prototipo de investigación basado en zkSNARK que genera una prueba criptográfica de la inferencia. Con esa prueba, quien verifica puede comprobar que los tokens de salida proceden de los pesos comprometidos sin ver los pesos, los valores intermedios ni los expertos activados. La arquitectura del modelo, en cambio, sigue siendo visible.

El experimento se realizó con Llama 4 Maverick, un modelo de mezcla de expertos con 400.000 millones de parámetros en total y unos 17.000 millones activos por token. El modelo estaba cuantizado a 4 bits y tenía una ventana de contexto limitada a 1.024 tokens. En un servidor con una sola GPU H100 de 80 GB, la fase offline se ejecuta una vez por modelo: tarda unos 39 minutos y produce un commitment válido para unos 16 millones de peticiones. En la fase online, la prueba de un lote de 24 peticiones tarda unos 223 segundos y ocupa 18,78 megabytes. El coste computacional es de 70 a 95 veces el tiempo de GPU habitual con vLLM. La verificación final se ejecuta en CPU y tarda 17 segundos con 24 hilos.

Según TechCrunch, no hay planes para integrar FlashProve en servicios de producción, ni en Anthropic ni en otros laboratorios. El prototipo solo funciona con modelos cuantizados, decodificación greedy y ventanas de 1.024 tokens, y no contempla los ataques de canal lateral. Además, faltan garantías formales sobre el código rápido que se ejecuta realmente. El código, los verificadores escritos en C++ y Lean y la especificación del protocolo redactada por Claude se han publicado en GitHub con licencia Apache 2.0.

Como referencia, Anthropic cita un trabajo anterior, VerInf, que necesitaba 14,3 horas para 1.000 tokens. FlashProve declara unos 110 tokens por segundo, pero el dato corresponde a un solo modelo. Que el resultado sea válido para otras arquitecturas es, por ahora, una hipótesis de la empresa, y las mediciones no han sido replicadas por terceros. La idea de que un modelo tenga que mostrar un pasaporte criptográfico antes de que confiemos en sus respuestas tiene su elegancia, aunque hoy el precio de la honestidad computacional sea de 70 a 95 veces el tiempo de GPU de la simple respuesta. — Olya