GDPx, benchmark SemiAnalysis, w którym najlepszy model zatrzymuje się na 12%

2 listopada firma analityczna SemiAnalysis zaprezentowała GDPx, benchmark mierzący ogólne zdolności agentowe modeli granicznych. Artykuł zapowiadający podpisali Max Kan, Andrew Megalaa i Dylan Patel. Według oficjalnej strony wersja 1.0 obejmuje 206 zadań w 11 dziedzinach, a dane dostarczyło 14 partnerów. Na czele oficjalnego rankingu jest Claude Opus 5.5 od Anthropic z wynikiem 12,0%. Dalej plasują się Gemini 4 Carbon od Google z 10,9%, GPT-6 Astra od OpenAI z 9,6% i Muse Wonder Full od Meta z 9,0%. Za nimi są Claude Fable 5.1 (8,5%), GPT 6.1 Sol (8,4%) i Claude Sonnet 5.5 (8,2%), a publiczne zestawienie zamykają Grok 4.7 od xAI (3,9%) i GLM 5.3 od Z.ai (2,7%). Trzeba zaznaczyć, że ranking pokazuje 13 z 20 ocenianych modeli. Autorzy podsumowują to jednoznacznie: to prawdziwie graniczny benchmark, skoro nawet najlepszy model dochodzi tylko do 12%.

Na oficjalnej stronie podano też średni koszt jednego zadania i to jest najbardziej pouczająca część. Opus 5.5 kosztuje 51,41 dolara za zadanie, a GPT-6 Astra 53,99. Gemini 4 Carbon jest nieco ponad punkt za Opusem i kosztuje 16,29. GPT 6.1 Sol zatrzymuje się na 9,80 dolara, a DeepSeek 4.1 Flash i GPT-6 Luna mieszczą się poniżej dolara, odpowiednio 0,94 i 0,92. SemiAnalysis dodaje trzy obserwacje. Po pierwsze, przy ocenie binarnej finanse i prawo sprowadzają praktycznie wszystkie modele do zera. Po drugie, klasyfikatory bezpieczeństwa Opus 5.5 i GPT-6 Astra obniżają ich wynik w dziedzinach wrażliwych, dlatego firma proponuje też ranking bez cyberbezpieczeństwa, biologii i alignmentu. Po trzecie, w publicznym zadaniu z projektowania sprzętu dotyczącym obudowy sprężarki żadne z 12 uruchomień nie przeszło w pełni weryfikacji. Chodziło o trzy próby na model dla GPT-6 Astra, Opus 5.5, Grok 4.7 i GLM 5.3.

Dziedziny to projektowanie układów scalonych, cyberbezpieczeństwo, biologia, finanse, prawo, handel ilościowy, rekurencyjne samodoskonalenie, projektowanie sprzętu, inżynieria materiałowa, alignment i inżynieria oprogramowania. W zależności od dziedziny ocena jest binarna albo z częściowym zaliczeniem. Główny wynik to pass@1 liczony z trzech prób, a wszystkie dziedziny mają taką samą wagę, podobnie jak partnerzy w obrębie każdej z nich. Według Let's Data Science najliczniejsza jest dziedzina projektowania układów scalonych z 34 zadaniami, przed finansami (24) i materiałami (23). Autorzy przyznają to z przymrużeniem oka: jako SemiAnalysis chcieli, żeby chipy były trochę nadreprezentowane. Firma deklaruje, że celowo pominęła administrację publiczną, nieruchomości i ubezpieczenia. Uważa też, że błędem jest budowanie ogólnego benchmarku według udziałów w PKB czy klasyfikacji zawodów SOC/O*NET. SemiAnalysis przedstawia GDPx jako odpowiedź na ograniczenia GDPval od OpenAI, opublikowanego 25 września 2025 roku, którego zadania opisuje jako precyzyjnie wyspecyfikowane i nieinteraktywne, zaprojektowane, zanim agenty się upowszechniły. Każda dziedzina ma co najmniej jedno zadanie publiczne, a wszystkie pozostałe są prywatne: w biologii na przykład zadań prywatnych jest 12, a publiczne tylko jedno. Część artykułu jest płatna, więc nie udało się bezpośrednio sprawdzić szczegółów dotyczących materiałów, handlu ilościowego, prawa, oprogramowania i alignmentu. To samo dotyczy częstotliwości aktualizacji: według Let's Data Science i Cryptobriefing ma to być jedna aktualizacja co trzy do sześciu miesięcy, ale w ogólnodostępnej części tekstu SemiAnalysis nie ma tego potwierdzenia.

Tekst SemiAnalysis ujawnia też własne interesy. Kilku partnerów sprzedaje dane treningowe laboratoriom granicznym, a Arithmetic zaznacza, że robi to wyłącznie dla amerykańskich. Sponsorami infrastruktury są Fireworks i Modal. Firma wiąże ponadto GDPx z modelem popytu dostępnym tylko dla subskrybentów swojej usługi Tokenomics. Dealroom przypomina, że wyniki pochodzą z uruchomień przeprowadzonych przez SemiAnalysis w dziedzinach wybranych przez SemiAnalysis, więc nie jest to test niezależny. Na razie nie są znane żadne zewnętrzne replikacje.

Niska liczba zawsze trafia na nagłówki, ale tutaj liczy się mniej niż sposób jej odczytania. Te same dwanaście procent może znaczyć, że agentom wciąż daleko do pracy eksperckiej, albo że autorzy testu wybrali najtrudniejszy teren i otwarcie to powiedzieli. Na razie drugą interpretację da się sprawdzić tylko na nielicznych zadaniach publicznych: reszta zostaje w szufladzie tych, którzy je napisali. — Olya