GDPx, le benchmark de SemiAnalysis où le meilleur modèle plafonne à 12 %

Le 2 novembre, le cabinet d'analyse SemiAnalysis a présenté GDPx, un benchmark qui mesure les capacités agentiques générales des modèles de pointe. L'article de lancement est signé Max Kan, Andrew Megalaa et Dylan Patel. Selon le site officiel, la version 1.0 compte 206 tâches réparties dans 11 domaines, avec des données fournies par 14 partenaires. En tête du classement officiel figure Claude Opus 5.5 d'Anthropic, avec 12,0 %. Suivent Gemini 4 Carbon de Google avec 10,9 %, GPT-6 Astra d'OpenAI avec 9,6 % et Muse Wonder Full de Meta avec 9,0 %. Plus loin viennent Claude Fable 5.1 (8,5 %), GPT 6.1 Sol (8,4 %) et Claude Sonnet 5.5 (8,2 %), tandis que Grok 4.7 de xAI (3,9 %) et GLM 5.3 de Z.ai (2,7 %) ferment la marche du tableau public. Précisons que ce classement affiche 13 des 20 modèles évalués. Les auteurs en tirent une conclusion sans détour : c'est un vrai benchmark de pointe, puisque même le meilleur modèle n'atteint que 12 %.

La page officielle indique aussi le coût moyen par tâche, et c'est la partie la plus instructive. Opus 5.5 coûte 51,41 dollars par tâche et GPT-6 Astra 53,99. Gemini 4 Carbon reste à un peu plus d'un point d'Opus et coûte 16,29. GPT 6.1 Sol s'arrête à 9,80 dollars, tandis que DeepSeek 4.1 Flash et GPT-6 Luna passent sous le dollar, à 0,94 et 0,92 respectivement. SemiAnalysis ajoute trois observations. D'abord, avec une notation binaire, la finance et le juridique ramènent pratiquement tous les modèles à zéro. Ensuite, les classificateurs de sécurité d'Opus 5.5 et de GPT-6 Astra font baisser leur score dans les domaines sensibles ; c'est pourquoi la société propose aussi un classement sans cyber, biologie ni alignement. Enfin, sur la tâche publique de conception matérielle portant sur le carter d'un compresseur, aucune des 12 exécutions n'a entièrement passé la vérification. Il s'agissait de trois tentatives chacun pour GPT-6 Astra, Opus 5.5, Grok 4.7 et GLM 5.3.

Les domaines sont la conception de puces, la cybersécurité, la biologie, la finance, le juridique, le trading quantitatif, l'auto-amélioration récursive, la conception matérielle, la science des matériaux, l'alignement et le génie logiciel. La notation est binaire ou à crédit partiel selon le domaine. Le score principal est un pass@1 calculé sur trois tentatives, et tous les domaines pèsent le même poids, tout comme les partenaires au sein de chacun. D'après Let's Data Science, le domaine le plus fourni est la conception de puces avec 34 tâches, devant la finance (24) et les matériaux (23). Les auteurs l'admettent avec humour : étant SemiAnalysis, ils voulaient que les puces soient un peu surreprésentées. L'entreprise déclare avoir volontairement laissé de côté l'administration publique, l'immobilier et l'assurance. Elle juge en outre erroné de construire un benchmark généraliste en calquant les parts de PIB ou la nomenclature des métiers SOC/O*NET. SemiAnalysis présente GDPx comme une réponse aux limites de GDPval d'OpenAI, sorti le 25 septembre 2025, dont elle décrit les tâches comme précisément spécifiées et non interactives, conçues avant que les agents ne se répandent. Chaque domaine compte au moins une tâche publique, toutes les autres restent privées : en biologie, par exemple, il y a 12 tâches privées pour une seule publique. Une partie de l'article est payante, et il n'a pas été possible de vérifier directement les détails sur les matériaux, le trading quantitatif, le juridique, le logiciel et l'alignement. Il en va de même pour le rythme des mises à jour : selon Let's Data Science et Cryptobriefing, il y en aura une tous les trois à six mois, mais ce n'est pas confirmé dans la partie libre du texte de SemiAnalysis.

Le texte de SemiAnalysis déclare aussi ses propres intérêts. Plusieurs partenaires vendent des données d'entraînement aux laboratoires de pointe, et Arithmetic précise le faire exclusivement pour des laboratoires américains. Les sponsors de l'infrastructure sont Fireworks et Modal. La société relie par ailleurs GDPx à un modèle de demande réservé aux abonnés de son service Tokenomics. Dealroom rappelle que les résultats proviennent d'exécutions menées par SemiAnalysis sur des domaines choisis par SemiAnalysis : il ne s'agit donc pas d'un test indépendant. Aucune réplication externe n'est signalée à ce jour.

Un chiffre bas fait toujours les gros titres, mais ici il compte moins que la façon de le lire. Les mêmes douze pour cent peuvent signifier que les agents sont encore loin du travail d'expert, ou bien que les concepteurs de l'épreuve ont choisi les terrains les plus accidentés, et l'ont dit. Pour l'instant, la seconde lecture ne peut se vérifier que sur les rares tâches publiques : les autres restent dans le tiroir de ceux qui les ont écrites. — Olya