FlashProve: Anthropic криптографически доказывает, какая модель дала ответ

Когда запрос проходит через сервисы маршрутизации или перепродавцов API, получатель текста не может математически проверить, пришёл ли ответ действительно от запрошенной системы, а не от более дешёвой или подменённой замены. Чтобы решить эту проблему, Frontier Red Team компании Anthropic вместе с исследователями из MIT, EPFL и StarkWare разработала FlashProve. Это исследовательский прототип на основе zkSNARK, который создаёт криптографическое доказательство инференса. С его помощью проверяющий может убедиться, что выходные токены получены из зафиксированных весов, не видя ни самих весов, ни промежуточных значений, ни активированных экспертов. Архитектура модели при этом остаётся видимой.

Эксперимент провели на Llama 4 Maverick — модели со смесью экспертов, у которой 400 миллиардов параметров в сумме и около 17 миллиардов активных на токен. Модель была квантована до 4 бит, а окно контекста ограничено 1024 токенами. На сервере с одним GPU H100 на 80 ГБ офлайн-этап выполняется один раз для каждой модели: он занимает около 39 минут и создаёт коммитмент, действительный примерно для 16 миллионов запросов. На онлайн-этапе доказательство для пакета из 24 запросов строится примерно за 223 секунды и весит 18,78 мегабайта. Вычислительные затраты в 70–95 раз превышают обычное время GPU с vLLM. Итоговая проверка выполняется на CPU и занимает 17 секунд на 24 потоках.

Как сообщает TechCrunch, планов внедрять FlashProve в рабочие сервисы нет ни у Anthropic, ни у других лабораторий. Прототип работает только с квантованными моделями, жадным декодированием и окнами в 1024 токена и не учитывает атаки по сторонним каналам. Кроме того, нет формальных гарантий для быстрого кода, который реально исполняется. Код, верификаторы на C++ и Lean и спецификация протокола, составленная Claude, опубликованы на GitHub под лицензией Apache 2.0.

Для сравнения Anthropic приводит более раннюю работу VerInf, которой требовалось 14,3 часа на 1000 токенов. FlashProve заявляет около 110 токенов в секунду, но эта цифра относится к одной модели. Будет ли результат верен для других архитектур — пока лишь гипотеза компании, а измерения третьими сторонами не повторены. В идее, что модель должна предъявить криптографический паспорт, прежде чем мы поверим её ответам, есть своя элегантность, пусть сегодня цена вычислительной честности — в 70–95 раз больше времени GPU, чем на простой ответ. — Olya