GDPx, de benchmark van SemiAnalysis waarin het beste model blijft steken op 12%

Op 2 november presenteerde het analysebureau SemiAnalysis GDPx, een benchmark die de algemene agentische vaardigheden van frontiermodellen meet. Het lanceringsartikel is geschreven door Max Kan, Andrew Megalaa en Dylan Patel. Volgens de officiële site telt versie 1.0 206 taken verdeeld over 11 domeinen, met data van 14 partners. Bovenaan de officiële ranglijst staat Claude Opus 5.5 van Anthropic met 12,0%. Daarna volgen Gemini 4 Carbon van Google met 10,9%, GPT-6 Astra van OpenAI met 9,6% en Muse Wonder Full van Meta met 9,0%. Verder terug staan Claude Fable 5.1 (8,5%), GPT 6.1 Sol (8,4%) en Claude Sonnet 5.5 (8,2%), terwijl Grok 4.7 van xAI (3,9%) en GLM 5.3 van Z.ai (2,7%) de openbare lijst afsluiten. Wel moet gezegd dat die ranglijst 13 van de 20 beoordeelde modellen toont. De auteurs vatten het kort samen: dit is een echte frontierbenchmark, want zelfs het beste model komt niet verder dan 12%.

Op de officiële pagina staan ook de gemiddelde kosten per taak, en dat is het leerzaamste deel. Opus 5.5 kost 51,41 dollar per taak en GPT-6 Astra 53,99. Gemini 4 Carbon blijft iets meer dan een punt onder Opus en kost 16,29. GPT 6.1 Sol komt uit op 9,80 dollar, terwijl DeepSeek 4.1 Flash en GPT-6 Luna onder de dollar blijven, met respectievelijk 0,94 en 0,92. SemiAnalysis voegt er drie observaties aan toe. Ten eerste brengen financiën en juridisch bij binaire beoordeling vrijwel alle modellen terug tot nul. Ten tweede drukken de veiligheidsclassificatoren van Opus 5.5 en GPT-6 Astra hun score in gevoelige domeinen; daarom biedt het bedrijf ook een ranglijst zonder cyber, biologie en alignment. Ten derde is bij de openbare hardware-ontwerptaak rond de behuizing van een compressor geen van de 12 runs volledig door de controle gekomen. Het ging om drie pogingen per model voor GPT-6 Astra, Opus 5.5, Grok 4.7 en GLM 5.3.

De domeinen zijn chipontwerp, cybersecurity, biologie, financiën, juridisch, kwantitatieve handel, recursieve zelfverbetering, hardware-ontwerp, materiaalkunde, alignment en software-engineering. Afhankelijk van het domein wordt binair of met deelpunten beoordeeld. De hoofdscore is een pass@1 berekend over drie pogingen, en alle domeinen wegen even zwaar, net als de partners binnen elk domein. Volgens Let's Data Science is chipontwerp met 34 taken het grootste domein, vóór financiën (24) en materialen (23). De auteurs geven het met een grap toe: als SemiAnalysis wilden ze chips een beetje oververtegenwoordigd hebben. Het bedrijf zegt overheid, vastgoed en verzekeringen bewust te hebben weggelaten. Het vindt het bovendien verkeerd om een algemene benchmark te bouwen naar het aandeel in het bbp of naar de beroepenclassificatie SOC/O*NET. SemiAnalysis presenteert GDPx als antwoord op de beperkingen van GDPval van OpenAI, verschenen op 25 september 2025, waarvan het de taken omschrijft als nauwkeurig gespecificeerd en niet-interactief, ontworpen voordat agents gemeengoed werden. Elk domein heeft minstens één openbare taak en alle andere blijven privé: in biologie zijn er bijvoorbeeld 12 privétaken en maar één openbare. Een deel van het artikel zit achter een betaalmuur, waardoor de details over materialen, kwantitatieve handel, juridisch, software en alignment niet rechtstreeks te controleren waren. Hetzelfde geldt voor de updatefrequentie: volgens Let's Data Science en Cryptobriefing komt er elke drie tot zes maanden een update, maar dat wordt niet bevestigd in het vrij toegankelijke deel van de tekst van SemiAnalysis.

De tekst van SemiAnalysis maakt ook de eigen belangen bekend. Verschillende partners verkopen trainingsdata aan frontierlabs, en Arithmetic geeft aan dat uitsluitend voor Amerikaanse labs te doen. De sponsors van de infrastructuur zijn Fireworks en Modal. Daarnaast koppelt het bedrijf GDPx aan een vraagmodel dat alleen beschikbaar is voor abonnees van zijn dienst Tokenomics. Dealroom wijst erop dat de resultaten afkomstig zijn van runs die SemiAnalysis heeft uitgevoerd op domeinen die SemiAnalysis heeft gekozen, en dat het dus geen onafhankelijke test is. Externe replicaties zijn tot nu toe niet bekend.

Een laag getal haalt altijd het nieuws, maar hier telt het minder dan de manier waarop je het leest. Dezelfde twaalf procent kan betekenen dat agents nog ver van expertwerk af staan, of dat wie de test ontwierp het ruigste terrein koos, en dat ook zei. Voorlopig is die tweede lezing alleen te controleren aan de paar openbare taken: de rest blijft in de la van wie ze heeft geschreven. — Olya