GDPx: бенчмарк SemiAnalysis, у якому найкраща модель зупиняється на 12%

2 листопада аналітична компанія SemiAnalysis представила GDPx — бенчмарк, що вимірює загальні агентні здібності передових моделей. Статтю про запуск підписали Макс Кан (Max Kan), Ендрю Мегалаа (Andrew Megalaa) і Ділан Патель (Dylan Patel). За даними офіційного сайту, версія 1.0 містить 206 завдань в 11 галузях, дані для них надали 14 партнерів. Перше місце в офіційному рейтингу посідає Claude Opus 5.5 від Anthropic з 12,0%. Далі йдуть Gemini 4 Carbon від Google з 10,9%, GPT-6 Astra від OpenAI з 9,6% і Muse Wonder Full від Meta з 9,0%. Трохи позаду — Claude Fable 5.1 (8,5%), GPT 6.1 Sol (8,4%) і Claude Sonnet 5.5 (8,2%), а замикають публічну таблицю Grok 4.7 від xAI (3,9%) і GLM 5.3 від Z.ai (2,7%). Варто зазначити: рейтинг показує 13 із 20 оцінених моделей. Автори роблять однозначний висновок: це справді передовий бенчмарк, адже навіть найкраща модель набирає лише 12%.

На офіційній сторінці наведено й середню вартість одного завдання — і це найповчальніша частина. Opus 5.5 коштує 51,41 долара за завдання, GPT-6 Astra — 53,99. Gemini 4 Carbon поступається Opus трохи більше ніж на пункт і коштує 16,29. GPT 6.1 Sol зупиняється на 9,80 долара, а DeepSeek 4.1 Flash і GPT-6 Luna вкладаються менше ніж у долар — 0,94 і 0,92 відповідно. SemiAnalysis додає три спостереження. По-перше, за бінарного оцінювання фінанси й право опускають практично всі моделі до нуля. По-друге, класифікатори безпеки Opus 5.5 і GPT-6 Astra знижують їхній результат у чутливих галузях, тому компанія пропонує також рейтинг без кібербезпеки, біології та узгодження (alignment). По-третє, у публічному завданні з проєктування обладнання — корпусу компресора — жоден із 12 прогонів не пройшов перевірку повністю. Це були по три спроби для GPT-6 Astra, Opus 5.5, Grok 4.7 і GLM 5.3.

Галузі такі: проєктування мікросхем, кібербезпека, біологія, фінанси, право, кількісний трейдинг, рекурсивне самовдосконалення, проєктування обладнання, матеріалознавство, узгодження та програмна інженерія. Залежно від галузі оцінювання бінарне або з частковим зарахуванням. Підсумковий бал — pass@1, обчислений за трьома спробами; усі галузі мають однакову вагу, як і партнери всередині кожної з них. За даними Let's Data Science, найбільше завдань у проєктуванні мікросхем — 34, далі фінанси (24) і матеріали (23). Автори визнають це з гумором: оскільки вони SemiAnalysis, їм хотілося, щоб чипів було трохи більше, ніж решти. Компанія заявляє, що навмисно залишила поза бенчмарком державне управління, нерухомість і страхування. Крім того, вона вважає помилкою будувати загальний бенчмарк за частками у ВВП чи за класифікатором професій SOC/O*NET. SemiAnalysis подає GDPx як відповідь на обмеження GDPval від OpenAI, що вийшов 25 вересня 2025 року: його завдання вона описує як точно специфіковані й неінтерактивні, придумані ще до поширення агентів. У кожній галузі є щонайменше одне публічне завдання, усі інші закриті: у біології, наприклад, закритих завдань 12, а публічне лише одне. Частина статті доступна тільки за передплатою, тож подробиці про матеріали, кількісний трейдинг, право, програмну інженерію та узгодження безпосередньо перевірити не вдалося. Те саме стосується частоти оновлень: за даними Let's Data Science і Cryptobriefing, бенчмарк оновлюватимуть раз на три–шість місяців, але у відкритій частині тексту SemiAnalysis це не підтверджено.

У тексті SemiAnalysis розкрито й власні інтереси. Кілька партнерів продають навчальні дані передовим лабораторіям, а Arithmetic уточнює, що працює виключно з американськими. Спонсори інфраструктури — Fireworks і Modal. Крім того, компанія пов'язує GDPx із моделлю попиту, доступною лише передплатникам її сервісу Tokenomics. Dealroom нагадує, що результати отримано в прогонах, які провела SemiAnalysis у галузях, обраних SemiAnalysis, отже, це не незалежний тест. Зовнішніх відтворень поки немає.

Низьке число завжди стає новиною, але тут воно важить менше, ніж те, як його прочитати. Ті самі дванадцять відсотків можуть означати, що агентам ще далеко до експертної роботи, а можуть — що автори тесту обрали найважчу місцевість і прямо про це сказали. Поки що друге прочитання можна перевірити лише на нечисленних публічних завданнях: решта лежить у шухляді тих, хто їх написав. — Olya