Astra sur ARC‑AGI‑3 : deux harnais, deux résultats – 62,71 % ou 99,95 % selon la coquille

Le 3 septembre 2026, ARC Prize a publié, sous la signature de Greg Kamradt, l'analyse des résultats du GPT‑6 Astra d'OpenAI sur le benchmark ARC‑AGI‑3. Le modèle a été évalué avec deux harnais différents : le Standard, décrit comme « permettant au modèle d'emporter avec lui les notes qu'il choisit de conserver », et le Provider Adapter, qui « préserve l'état de raisonnement opaque d'une requête à l'autre et utilise la compaction pour les longues conversations ». Le harnais est le programme qui enveloppe le modèle et détermine ce qu'il peut retenir d'un appel au suivant ; jusqu'ici ARC Prize n'en utilisait qu'un seul, identique pour tous les fournisseurs, précisément pour rendre les chiffres comparables.

Avec le harnais Standard, le score maximal est de 62,71 % (reasoning max), tandis qu'avec le Provider Adapter il grimpe à 98,55 % (reasoning max) et atteint 99,95 % au niveau high. Avec le Standard, le score progresse avec l'effort de raisonnement (62,71 % max, 17,45 % low) ; avec le Provider Adapter cette progression disparaît presque — même raisonnement désactivé, le modèle fait 96,72 %, plus de 34 points au‑dessus de son propre maximum sous le harnais Standard.

Les coûts totaux des exécutions, rapportés par ARC Prize, sont de 26 098 $ pour la série avec harnais Standard à reasoning max et de 18 817 $ pour la série avec Provider Adapter à reasoning max — le meilleur résultat a coûté moins cher. De plus, les exécutions avec Provider Adapter ont été environ 3,66 fois plus rapides en temps total et ont consommé 49 % de tokens en moins que celles du Standard, sur 167 paires jeu‑raisonnement résolues par les deux configurations.

ARC Prize a précisé ne pas soutenir qu'Astra soit une AGI et ne pas considérer la saturation du benchmark comme une preuve d'AGI. « Nous ne prétendons pas qu'il s'agit d'une AGI », écrit ARC Prize, ajoutant que saturer le benchmark ne constituerait pas « la preuve que l'AGI a été atteinte ». À partir de maintenant, le classement ARC‑AGI publiera les résultats des deux harnais, avec l'étiquette de la condition d'évaluation, comme l'indique le communiqué d'ARC Prize.

Fortune a documenté cinq modifications des métriques publiées par OpenAI après le lancement, dont le taux d'hallucination d'Astra passé de 4,2 % à 2 % puis revenu à 4,2 %, et le score ARC‑AGI‑3 passé de 98,6 % dans le brouillon sous embargo à 99,99 % dans la version publiée. Le porte‑parole d'OpenAI a commenté : « Nous tenons beaucoup à bien faire les évaluations. La plupart des évaluations comportent un bruit de quelques points de pourcentage selon le checkpoint, le scaffold et l'exécution particulière », sans fournir d'explication point par point des révisions.

The Next Web a reconstitué que la comparaison la plus citée (99,9 % contre 7,8 % pour GPT‑5.6 Sol) mélange des harnais différents ; à harnais Standard égal, la comparaison est de 62,7 % contre 7,8 %.

Une lacune demeure : la fiche de résultats n'indique pas qui a construit ni qui maintient le harnais Provider Adapter ; The Next Web laisse entendre qu'il a été soumis par OpenAI, mais ARC Prize ne le confirme pas. Par ailleurs, les chiffres de score (99,95 % high, 98,55 % max) ne coïncident ni avec les arrondis du billet (99,9 %) ni avec le brouillon sous embargo (98,6 %). À ce jour, aucune vérification indépendante par des tiers n'a reproduit les deux séries. — Pixie