GDPx: бенчмарк SemiAnalysis, в котором лучшая модель останавливается на 12%

2 ноября аналитическая компания SemiAnalysis представила GDPx — бенчмарк, который измеряет общие агентные способности передовых моделей. Статью о запуске подписали Макс Кан (Max Kan), Эндрю Мегалаа (Andrew Megalaa) и Дилан Патель (Dylan Patel). По данным официального сайта, версия 1.0 включает 206 задач в 11 областях, данные для них предоставили 14 партнёров. Первое место в официальном рейтинге занимает Claude Opus 5.5 от Anthropic с 12,0%. Далее идут Gemini 4 Carbon от Google с 10,9%, GPT-6 Astra от OpenAI с 9,6% и Muse Wonder Full от Meta с 9,0%. Чуть позади — Claude Fable 5.1 (8,5%), GPT 6.1 Sol (8,4%) и Claude Sonnet 5.5 (8,2%), а замыкают публичную таблицу Grok 4.7 от xAI (3,9%) и GLM 5.3 от Z.ai (2,7%). Стоит оговориться: рейтинг показывает 13 из 20 оценённых моделей. Авторы делают однозначный вывод: это по-настоящему передовой бенчмарк, раз даже лучшая модель набирает лишь 12%.

На официальной странице приведена и средняя стоимость одной задачи — это самая поучительная часть. Opus 5.5 обходится в 51,41 доллара за задачу, GPT-6 Astra — в 53,99. Gemini 4 Carbon отстаёт от Opus чуть больше чем на пункт и стоит 16,29. GPT 6.1 Sol останавливается на 9,80 доллара, а DeepSeek 4.1 Flash и GPT-6 Luna укладываются меньше чем в доллар — 0,94 и 0,92 соответственно. SemiAnalysis добавляет три наблюдения. Во-первых, при бинарной оценке финансы и право опускают практически все модели до нуля. Во-вторых, классификаторы безопасности Opus 5.5 и GPT-6 Astra снижают их результат в чувствительных областях, поэтому компания предлагает и рейтинг без кибербезопасности, биологии и согласования (alignment). В-третьих, в публичной задаче по проектированию оборудования — корпуса компрессора — ни один из 12 прогонов не прошёл проверку полностью. Это были по три попытки у GPT-6 Astra, Opus 5.5, Grok 4.7 и GLM 5.3.

Области такие: проектирование микросхем, кибербезопасность, биология, финансы, право, количественный трейдинг, рекурсивное самоулучшение, проектирование оборудования, материаловедение, согласование и программная инженерия. В зависимости от области оценка бинарная или с частичным зачётом. Итоговый балл — pass@1, рассчитанный по трём попыткам; все области имеют одинаковый вес, как и партнёры внутри каждой из них. По данным Let's Data Science, больше всего задач в проектировании микросхем — 34, далее идут финансы (24) и материалы (23). Авторы признают это с юмором: раз уж они SemiAnalysis, им хотелось, чтобы чипов было немного больше остального. Компания заявляет, что намеренно исключила государственное управление, недвижимость и страхование. Кроме того, она считает ошибкой строить общий бенчмарк по долям в ВВП или по классификатору профессий SOC/O*NET. SemiAnalysis позиционирует GDPx как ответ на ограничения GDPval от OpenAI, вышедшего 25 сентября 2025 года: его задачи она описывает как точно специфицированные и неинтерактивные, придуманные ещё до распространения агентов. В каждой области есть хотя бы одна публичная задача, все остальные закрыты: в биологии, например, закрытых задач 12, а публичная всего одна. Часть статьи доступна только по подписке, поэтому подробности о материалах, количественном трейдинге, праве, программной инженерии и согласовании напрямую проверить не удалось. То же касается частоты обновлений: по данным Let's Data Science и Cryptobriefing, бенчмарк будет обновляться раз в три–шесть месяцев, но в открытой части текста SemiAnalysis это не подтверждается.

В тексте SemiAnalysis раскрыты и собственные интересы. Несколько партнёров продают обучающие данные передовым лабораториям, а Arithmetic уточняет, что работает исключительно с американскими. Спонсоры инфраструктуры — Fireworks и Modal. Кроме того, компания связывает GDPx с моделью спроса, доступной только подписчикам её сервиса Tokenomics. Dealroom напоминает, что результаты получены в прогонах, которые провела SemiAnalysis в областях, выбранных SemiAnalysis, а значит, это не независимый тест. Внешних воспроизведений пока нет.

Низкое число всегда становится новостью, но здесь оно важно меньше, чем то, как его прочитать. Те же двенадцать процентов могут означать, что агентам ещё далеко до экспертной работы, а могут — что авторы теста выбрали самую трудную местность и сказали об этом прямо. Пока вторую трактовку можно проверить лишь на немногих публичных задачах: остальные лежат в ящике стола у тех, кто их написал. — Olya