GDPx, o benchmark da SemiAnalysis em que o melhor modelo fica nos 12%

Em 2 de novembro, a empresa de análise SemiAnalysis apresentou o GDPx, um benchmark que mede as capacidades agênticas gerais dos modelos de fronteira. O artigo de lançamento é assinado por Max Kan, Andrew Megalaa e Dylan Patel. Segundo o site oficial, a versão 1.0 reúne 206 tarefas distribuídas em 11 domínios, com dados fornecidos por 14 parceiros. No ranking oficial, o primeiro é o Claude Opus 5.5, da Anthropic, com 12,0%. Seguem-se o Gemini 4 Carbon, do Google, com 10,9%, o GPT-6 Astra, da OpenAI, com 9,6% e o Muse Wonder Full, da Meta, com 9,0%. Mais atrás aparecem o Claude Fable 5.1 (8,5%), o GPT 6.1 Sol (8,4%) e o Claude Sonnet 5.5 (8,2%), enquanto o Grok 4.7, da xAI (3,9%), e o GLM 5.3, da Z.ai (2,7%), fecham a tabela pública. Vale dizer que esse ranking mostra 13 dos 20 modelos avaliados. Os autores resumem sem rodeios: é um benchmark de fronteira de verdade, porque até o melhor modelo chega só aos 12%.

A página oficial traz também o custo médio por tarefa, e essa é a parte mais instrutiva. O Opus 5.5 custa 51,41 dólares por tarefa e o GPT-6 Astra, 53,99. O Gemini 4 Carbon fica pouco mais de um ponto abaixo do Opus e custa 16,29. O GPT 6.1 Sol para nos 9,80 dólares, enquanto o DeepSeek 4.1 Flash e o GPT-6 Luna ficam abaixo de um dólar, com 0,94 e 0,92, respectivamente. A SemiAnalysis acrescenta três observações. A primeira é que, com avaliação binária, finanças e jurídico levam praticamente todos os modelos a zero. A segunda é que os classificadores de segurança do Opus 5.5 e do GPT-6 Astra reduzem a pontuação deles nos domínios sensíveis, e é por isso que a empresa oferece também um ranking sem cibersegurança, biologia e alinhamento. A terceira diz respeito à tarefa pública de projeto de hardware sobre a carcaça de um compressor: nenhuma das 12 execuções passou totalmente na verificação. Foram três tentativas para cada um entre GPT-6 Astra, Opus 5.5, Grok 4.7 e GLM 5.3.

Os domínios são projeto de chips, cibersegurança, biologia, finanças, jurídico, trading quantitativo, autoaperfeiçoamento recursivo, projeto de hardware, ciência dos materiais, alinhamento e engenharia de software. A avaliação é binária ou com crédito parcial, conforme o domínio. A pontuação principal é um pass@1 calculado sobre três tentativas, e todos os domínios têm o mesmo peso, assim como os parceiros dentro de cada um. Segundo o Let's Data Science, o domínio mais extenso é o de projeto de chips, com 34 tarefas, à frente de finanças (24) e materiais (23). Os autores admitem com bom humor: sendo a SemiAnalysis, queriam que os chips ficassem um pouco sobrerrepresentados. A empresa diz ter deixado de fora de propósito a administração pública, o setor imobiliário e os seguros. Considera ainda um erro construir um benchmark geral copiando a participação no PIB ou a taxonomia ocupacional SOC/O*NET. A SemiAnalysis apresenta o GDPx como resposta aos limites do GDPval, da OpenAI, lançado em 25 de setembro de 2025, cujas tarefas descreve como especificadas com precisão e não interativas, pensadas antes de os agentes se popularizarem. Cada domínio tem pelo menos uma tarefa pública e todas as outras continuam privadas: em biologia, por exemplo, há 12 tarefas privadas e apenas uma pública. Parte do artigo é paga, e não foi possível verificar diretamente os detalhes sobre materiais, trading quantitativo, jurídico, software e alinhamento. O mesmo vale para a frequência de atualização: segundo o Let's Data Science e o Cryptobriefing, haverá uma atualização a cada três a seis meses, mas o dado não é confirmado na parte aberta do texto da SemiAnalysis.

O texto da SemiAnalysis declara também os próprios interesses. Vários parceiros vendem dados de treinamento aos laboratórios de fronteira, e a Arithmetic esclarece que o faz exclusivamente para os norte-americanos. Os patrocinadores da infraestrutura são a Fireworks e a Modal. A empresa liga ainda o GDPx a um modelo de demanda reservado aos assinantes do seu serviço Tokenomics. A Dealroom lembra que os resultados vêm de execuções conduzidas pela SemiAnalysis em domínios escolhidos pela SemiAnalysis, e que, portanto, não se trata de um teste independente. Até agora não há réplicas externas conhecidas.

Um número baixo sempre vira notícia, mas aqui importa menos do que a forma de lê-lo. Os mesmos doze por cento podem significar que os agentes ainda estão longe do trabalho especializado, ou que quem desenhou a prova escolheu os terrenos mais acidentados, e disse isso. Por enquanto, a segunda leitura só pode ser verificada nas poucas tarefas públicas: as outras continuam na gaveta de quem as escreveu. — Olya