GDPx, il benchmark di SemiAnalysis in cui il modello migliore si ferma al 12%

Il 2 novembre la società di analisi SemiAnalysis ha presentato GDPx, un benchmark che misura le capacità agentiche generali dei modelli di frontiera. L'articolo di lancio è firmato da Max Kan, Andrew Megalaa e Dylan Patel. Secondo il sito ufficiale, la versione 1.0 conta 206 compiti distribuiti su 11 domini, con dati forniti da 14 partner. Nella classifica ufficiale il primo è Claude Opus 5.5 di Anthropic con il 12,0%. Seguono Gemini 4 Carbon di Google con il 10,9%, GPT-6 Astra di OpenAI con il 9,6% e Muse Wonder Full di Meta con il 9,0%. Più indietro ci sono Claude Fable 5.1 (8,5%), GPT 6.1 Sol (8,4%) e Claude Sonnet 5.5 (8,2%), mentre in fondo alla classifica pubblica stanno Grok 4.7 di xAI (3,9%) e GLM 5.3 di Z.ai (2,7%). Va detto che quella classifica mostra 13 dei 20 modelli valutati. Gli autori ne traggono una sintesi netta: siamo davanti a un benchmark davvero di frontiera, perché anche il modello migliore arriva solo al 12%.

Nella pagina ufficiale compaiono anche i costi medi per compito, e sono la parte più istruttiva. Opus 5.5 costa 51,41 dollari a compito e GPT-6 Astra 53,99. Gemini 4 Carbon resta poco più di un punto sotto Opus e ne costa 16,29. GPT 6.1 Sol si ferma a 9,80 dollari, mentre DeepSeek 4.1 Flash e GPT-6 Luna stanno sotto il dollaro, rispettivamente a 0,94 e 0,92. SemiAnalysis aggiunge tre osservazioni. La prima è che con la valutazione binaria finanza e legale portano praticamente tutti i modelli a zero. La seconda è che i classificatori di sicurezza di Opus 5.5 e di GPT-6 Astra ne abbassano il punteggio nei domini sensibili, ed è per questo che la società propone anche una classifica senza cyber, biologia e allineamento. La terza riguarda il compito pubblico di progettazione hardware sul corpo di un compressore: nessuna delle 12 esecuzioni ha superato del tutto la verifica. Si tratta di tre tentativi a testa per GPT-6 Astra, Opus 5.5, Grok 4.7 e GLM 5.3.

I domini sono progettazione di chip, cybersicurezza, biologia, finanza, legale, trading quantitativo, auto-miglioramento ricorsivo, progettazione hardware, scienza dei materiali, allineamento e ingegneria del software. La valutazione è binaria o a credito parziale secondo il dominio. Il punteggio di testa è un pass@1 calcolato su tre tentativi, e tutti i domini pesano allo stesso modo, così come i partner all'interno di ciascuno. Secondo Let's Data Science, il dominio più ricco è la progettazione di chip con 34 compiti, davanti a finanza (24) e materiali (23). Gli autori lo ammettono con una battuta: essendo SemiAnalysis, volevano che i chip fossero un po' sovrarappresentati. L'azienda dichiara di aver lasciato fuori di proposito pubblica amministrazione, immobiliare e assicurazioni. Ritiene inoltre sbagliato costruire un benchmark generale ricalcando le quote di PIL o la tassonomia occupazionale SOC/O*NET. SemiAnalysis presenta GDPx come risposta ai limiti di GDPval di OpenAI, uscito il 25 settembre 2025, di cui descrive i compiti come precisamente specificati e non interattivi, pensati prima che gli agenti si diffondessero. Ogni dominio ha almeno un compito pubblico e tutti gli altri restano privati: in biologia, per esempio, i compiti privati sono 12 e quello pubblico uno solo. Una parte dell'articolo è a pagamento, e non è stato possibile verificare direttamente i dettagli su materiali, trading quantitativo, legale, software e allineamento. Lo stesso vale per la cadenza degli aggiornamenti: secondo Let's Data Science e Cryptobriefing sarà di un aggiornamento ogni tre-sei mesi, ma il dato non è confermato nella parte aperta del testo di SemiAnalysis.

Il testo di SemiAnalysis dichiara anche i propri interessi. Diversi partner vendono dati di addestramento ai laboratori di frontiera, e Arithmetic precisa di farlo esclusivamente per quelli americani. Gli sponsor dell'infrastruttura sono Fireworks e Modal. La società collega inoltre GDPx a un modello di domanda riservato agli abbonati del suo servizio Tokenomics. Dealroom ricorda che i risultati vengono da esecuzioni condotte da SemiAnalysis su domini scelti da SemiAnalysis, e che quindi non si tratta di un test indipendente. Al momento non risultano repliche esterne.

Un numero basso fa sempre notizia, ma qui conta meno del modo in cui lo si legge. Lo stesso dodici per cento può voler dire che gli agenti sono ancora lontani dal lavoro esperto, oppure che chi ha disegnato la prova ha scelto i terreni più impervi, e l'ha detto. Per ora la seconda lettura si può verificare solo sui pochi compiti pubblici: gli altri restano nel cassetto di chi li ha scritti. — Olya