GDPx, el benchmark de SemiAnalysis en el que el mejor modelo se queda en el 12 %

El 2 de noviembre la firma de análisis SemiAnalysis presentó GDPx, un benchmark que mide las capacidades agénticas generales de los modelos de frontera. El artículo de lanzamiento lo firman Max Kan, Andrew Megalaa y Dylan Patel. Según la web oficial, la versión 1.0 incluye 206 tareas repartidas en 11 ámbitos, con datos aportados por 14 socios. En la clasificación oficial, el primero es Claude Opus 5.5 de Anthropic con un 12,0 %. Le siguen Gemini 4 Carbon de Google con un 10,9 %, GPT-6 Astra de OpenAI con un 9,6 % y Muse Wonder Full de Meta con un 9,0 %. Más atrás están Claude Fable 5.1 (8,5 %), GPT 6.1 Sol (8,4 %) y Claude Sonnet 5.5 (8,2 %), mientras que al final de la tabla pública aparecen Grok 4.7 de xAI (3,9 %) y GLM 5.3 de Z.ai (2,7 %). Hay que señalar que esa clasificación muestra 13 de los 20 modelos evaluados. Los autores lo resumen sin rodeos: es un benchmark de frontera de verdad, porque incluso el mejor modelo solo llega al 12 %.

La página oficial también recoge el coste medio por tarea, y es la parte más reveladora. Opus 5.5 cuesta 51,41 dólares por tarea y GPT-6 Astra, 53,99. Gemini 4 Carbon se queda algo más de un punto por debajo de Opus y cuesta 16,29. GPT 6.1 Sol se queda en 9,80 dólares, mientras que DeepSeek 4.1 Flash y GPT-6 Luna no llegan al dólar: 0,94 y 0,92, respectivamente. SemiAnalysis añade tres observaciones. La primera, que con la evaluación binaria finanzas y legal dejan prácticamente a todos los modelos en cero. La segunda, que los clasificadores de seguridad de Opus 5.5 y GPT-6 Astra rebajan su puntuación en los ámbitos sensibles, y por eso la empresa ofrece también una clasificación sin ciberseguridad, biología ni alineamiento. La tercera tiene que ver con la tarea pública de diseño de hardware sobre la carcasa de un compresor: ninguna de las 12 ejecuciones superó del todo la verificación. Fueron tres intentos por cabeza para GPT-6 Astra, Opus 5.5, Grok 4.7 y GLM 5.3.

Los ámbitos son diseño de chips, ciberseguridad, biología, finanzas, legal, trading cuantitativo, automejora recursiva, diseño de hardware, ciencia de materiales, alineamiento e ingeniería de software. La evaluación es binaria o con crédito parcial según el ámbito. La puntuación principal es un pass@1 calculado sobre tres intentos, y todos los ámbitos pesan lo mismo, igual que los socios dentro de cada uno. Según Let's Data Science, el ámbito más nutrido es el diseño de chips, con 34 tareas, por delante de finanzas (24) y materiales (23). Los autores lo reconocen con humor: siendo SemiAnalysis, querían que los chips estuvieran un poco sobrerrepresentados. La empresa afirma haber dejado fuera a propósito la administración pública, el sector inmobiliario y los seguros. Considera además un error construir un benchmark general calcando el peso en el PIB o la taxonomía ocupacional SOC/O*NET. SemiAnalysis presenta GDPx como respuesta a los límites de GDPval, de OpenAI, publicado el 25 de septiembre de 2025, cuyas tareas describe como especificadas con precisión y no interactivas, pensadas antes de que los agentes se extendieran. Cada ámbito tiene al menos una tarea pública y todas las demás son privadas: en biología, por ejemplo, hay 12 privadas y una sola pública. Parte del artículo es de pago, y no ha sido posible comprobar directamente los detalles sobre materiales, trading cuantitativo, legal, software y alineamiento. Lo mismo ocurre con la frecuencia de actualización: según Let's Data Science y Cryptobriefing habrá una cada tres a seis meses, pero el dato no se confirma en la parte abierta del texto de SemiAnalysis.

El texto de SemiAnalysis declara también sus propios intereses. Varios socios venden datos de entrenamiento a los laboratorios de frontera, y Arithmetic precisa que lo hace exclusivamente para los estadounidenses. Los patrocinadores de la infraestructura son Fireworks y Modal. La empresa vincula además GDPx a un modelo de demanda reservado a los suscriptores de su servicio Tokenomics. Dealroom recuerda que los resultados proceden de ejecuciones realizadas por SemiAnalysis sobre ámbitos elegidos por SemiAnalysis, de modo que no se trata de una prueba independiente. Por ahora no constan réplicas externas.

Una cifra baja siempre es noticia, pero aquí importa menos que la manera de leerla. El mismo doce por ciento puede significar que los agentes siguen lejos del trabajo experto, o que quien diseñó la prueba eligió los terrenos más escarpados, y lo dijo. De momento, la segunda lectura solo puede comprobarse en las pocas tareas públicas: las demás siguen en el cajón de quien las escribió. — Olya