GDPx: der Benchmark von SemiAnalysis, bei dem das beste Modell bei 12 % stehen bleibt

Am 2. November hat das Analysehaus SemiAnalysis GDPx vorgestellt, einen Benchmark, der die allgemeinen agentischen Fähigkeiten von Frontier-Modellen misst. Der Launch-Artikel stammt von Max Kan, Andrew Megalaa und Dylan Patel. Laut offizieller Website umfasst Version 1.0 insgesamt 206 Aufgaben in 11 Bereichen, die Daten liefern 14 Partner. In der offiziellen Rangliste führt Claude Opus 5.5 von Anthropic mit 12,0 %. Es folgen Gemini 4 Carbon von Google mit 10,9 %, GPT-6 Astra von OpenAI mit 9,6 % und Muse Wonder Full von Meta mit 9,0 %. Dahinter liegen Claude Fable 5.1 (8,5 %), GPT 6.1 Sol (8,4 %) und Claude Sonnet 5.5 (8,2 %), am Ende der öffentlichen Tabelle stehen Grok 4.7 von xAI (3,9 %) und GLM 5.3 von Z.ai (2,7 %). Dazu muss man sagen: Die Rangliste zeigt 13 der 20 bewerteten Modelle. Die Autoren ziehen ein klares Fazit: Es handle sich um einen echten Frontier-Benchmark, denn selbst das beste Modell kommt nur auf 12 %.

Auf der offiziellen Seite stehen auch die durchschnittlichen Kosten pro Aufgabe, und das ist der aufschlussreichste Teil. Opus 5.5 kostet 51,41 Dollar pro Aufgabe, GPT-6 Astra 53,99. Gemini 4 Carbon liegt gut einen Punkt hinter Opus und kostet 16,29. GPT 6.1 Sol kommt auf 9,80 Dollar, während DeepSeek 4.1 Flash und GPT-6 Luna mit 0,94 beziehungsweise 0,92 unter einem Dollar bleiben. SemiAnalysis ergänzt drei Beobachtungen. Erstens drücken Finanzen und Recht bei binärer Bewertung praktisch alle Modelle auf null. Zweitens senken die Sicherheitsklassifikatoren von Opus 5.5 und GPT-6 Astra deren Punktzahl in sensiblen Bereichen; deshalb bietet die Firma auch eine Rangliste ohne Cyber, Biologie und Alignment an. Drittens hat bei der öffentlichen Hardware-Design-Aufgabe zum Gehäuse eines Kompressors keiner der 12 Durchläufe die Prüfung vollständig bestanden. Es waren je drei Versuche für GPT-6 Astra, Opus 5.5, Grok 4.7 und GLM 5.3.

Die Bereiche sind Chipdesign, Cybersicherheit, Biologie, Finanzen, Recht, quantitativer Handel, rekursive Selbstverbesserung, Hardware-Design, Materialwissenschaft, Alignment und Softwareentwicklung. Je nach Bereich wird binär oder mit Teilpunkten bewertet. Der Hauptwert ist ein pass@1 über drei Versuche, alle Bereiche zählen gleich viel, ebenso die Partner innerhalb jedes Bereichs. Laut Let's Data Science ist Chipdesign mit 34 Aufgaben der größte Bereich, vor Finanzen (24) und Materialien (23). Die Autoren geben das mit einem Augenzwinkern zu: Als SemiAnalysis wollten sie Chips ein wenig überrepräsentieren. Bewusst ausgelassen hat das Unternehmen nach eigener Aussage öffentliche Verwaltung, Immobilien und Versicherungen. Außerdem hält es für falsch, einen allgemeinen Benchmark nach BIP-Anteilen oder der Berufssystematik SOC/O*NET zu bauen. SemiAnalysis präsentiert GDPx als Antwort auf die Grenzen von GDPval, das OpenAI am 25. September 2025 veröffentlicht hat; dessen Aufgaben beschreibt es als präzise spezifiziert und nicht interaktiv, entworfen, bevor Agenten verbreitet waren. Jeder Bereich hat mindestens eine öffentliche Aufgabe, alle übrigen bleiben privat: In der Biologie etwa gibt es 12 private Aufgaben und nur eine öffentliche. Ein Teil des Artikels steht hinter einer Bezahlschranke, die Details zu Materialien, quantitativem Handel, Recht, Software und Alignment ließen sich daher nicht direkt prüfen. Dasselbe gilt für den Aktualisierungsrhythmus: Laut Let's Data Science und Cryptobriefing soll es alle drei bis sechs Monate ein Update geben, im frei zugänglichen Teil des SemiAnalysis-Textes ist das aber nicht bestätigt.

Der Text von SemiAnalysis legt auch die eigenen Interessen offen. Mehrere Partner verkaufen Trainingsdaten an Frontier-Labore, Arithmetic betont, dies ausschließlich für amerikanische zu tun. Sponsoren der Infrastruktur sind Fireworks und Modal. Zudem verknüpft die Firma GDPx mit einem Nachfragemodell, das den Abonnenten ihres Dienstes Tokenomics vorbehalten ist. Dealroom erinnert daran, dass die Ergebnisse aus Durchläufen stammen, die SemiAnalysis in von SemiAnalysis gewählten Bereichen durchgeführt hat, es sich also nicht um einen unabhängigen Test handelt. Externe Replikationen sind bislang nicht bekannt.

Eine niedrige Zahl ist immer eine Schlagzeile wert, hier zählt aber weniger die Zahl als die Art, wie man sie liest. Dieselben zwölf Prozent können bedeuten, dass Agenten noch weit von Expertenarbeit entfernt sind, oder dass die Macher des Tests das unwegsamste Gelände gewählt haben, und das auch gesagt haben. Die zweite Lesart lässt sich vorerst nur an den wenigen öffentlichen Aufgaben überprüfen: Die übrigen bleiben in der Schublade derer, die sie geschrieben haben. — Olya