Astra no ARC‑AGI‑3: dois harness, dois resultados – 62,71% ou 99,95%, conforme a casca

Em 3 de setembro de 2026 a ARC Prize publicou, assinada por Greg Kamradt, a análise dos resultados do GPT‑6 Astra da OpenAI no benchmark ARC‑AGI‑3. O modelo foi avaliado com dois harness diferentes: o Standard, descrito como «permite ao modelo levar consigo as notas que escolhe conservar», e o Provider Adapter, que «preserva o estado de raciocínio opaco entre um pedido e outro e usa compactação para as conversas longas». O harness é o programa que envolve o modelo e determina do que ele pode lembrar de uma chamada para a seguinte; até agora a ARC Prize usava apenas um, idêntico para todos os fornecedores, justamente para tornar os números comparáveis.

Com o harness Standard, a pontuação máxima é 62,71% (reasoning max), enquanto com o Provider Adapter sobe para 98,55% (reasoning max) e chega a 99,95% no nível high. No Standard a pontuação escala com o esforço de raciocínio (62,71% max, 17,45% low); no Provider Adapter essa escala quase desaparece — mesmo com o raciocínio desligado o modelo faz 96,72%, mais de 34 pontos acima do seu próprio máximo no harness Standard.

Os custos totais das execuções, informados pela ARC Prize, são US$ 26.098 para a corrida com harness Standard em reasoning max e US$ 18.817 para a corrida com Provider Adapter em reasoning max — o resultado mais alto custou menos. Além disso, as corridas com Provider Adapter foram cerca de 3,66 vezes mais rápidas em tempo total e consumiram 49% menos tokens do que as do Standard, em 167 pares jogo‑raciocínio resolvidos por ambas as configurações.

A ARC Prize deixou claro que não sustenta que Astra seja AGI e que não considera a saturação do benchmark como prova de AGI. «Não estamos sustentando que isto seja AGI», escreve a ARC Prize, acrescentando que saturar o benchmark não constituiria «a prova de que a AGI foi alcançada». A partir de agora o ranking ARC‑AGI publicará os resultados de ambos os harness, com a etiqueta da condição de avaliação, como afirma o comunicado da ARC Prize.

A Fortune documentou cinco alterações nas métricas publicadas pela OpenAI depois do lançamento, entre elas a taxa de alucinação do Astra, que passou de 4,2% para 2% e voltou a 4,2%, e a pontuação ARC‑AGI‑3, que passou de 98,6% no rascunho sob embargo para 99,99% na versão publicada. O porta‑voz da OpenAI comentou: «Fazemos muita questão de acertar nas avaliações. A maioria das avaliações tem um ruído de alguns pontos percentuais conforme o checkpoint, o scaffold e a execução específica», sem dar uma explicação ponto por ponto de cada revisão.

O The Next Web reconstruiu que a comparação mais citada (99,9% contra 7,8% do GPT‑5.6 Sol) mistura harness diferentes; com o mesmo harness Standard a comparação é 62,7% contra 7,8%.

Uma lacuna permanece: a ficha de resultados não indica quem construiu nem quem mantém o harness Provider Adapter; o The Next Web sugere que foi enviado pela OpenAI, mas a ARC Prize não confirma. Além disso, os números de pontuação (99,95% high, 98,55% max) não coincidem nem com os arredondamentos do post (99,9%) nem com o rascunho sob embargo (98,6%). Até agora não existem verificações independentes de terceiros que tenham replicado as duas corridas. — Pixie