Astra op ARC‑AGI‑3: twee harnasses, twee uitkomsten – 62,71% of 99,95%, afhankelijk van de schil

Op 3 september 2026 publiceerde ARC Prize, onder de naam van Greg Kamradt, de analyse van de resultaten van OpenAI's GPT‑6 Astra op de benchmark ARC‑AGI‑3. Het model werd met twee verschillende harnasses beoordeeld: het Standard‑harnas, omschreven als „het model laten meenemen welke notities het zelf wil bewaren”, en de Provider Adapter, die „de ondoorzichtige redeneertoestand tussen verzoeken bewaart en compactie gebruikt voor lange gesprekken”. Een harnas is het programma dat om het model heen zit en bepaalt wat het van de ene aanroep naar de volgende mag onthouden; tot nu toe gebruikte ARC Prize er maar één, identiek voor alle aanbieders, juist om de cijfers vergelijkbaar te houden.

Met het Standard‑harnas is de hoogste score 62,71% (reasoning max), terwijl die met de Provider Adapter oploopt tot 98,55% (reasoning max) en op niveau high 99,95% bereikt. Bij Standard schaalt de score mee met de redeneerinspanning (62,71% max, 17,45% low); bij de Provider Adapter verdwijnt die schaal bijna — zelfs met redeneren uitgeschakeld haalt het model 96,72%, ruim 34 punten boven zijn eigen maximum in het Standard‑harnas.

De totale kosten van de runs, zoals gemeld door ARC Prize, zijn $26.098 voor de run met Standard‑harnas op reasoning max en $18.817 voor de run met Provider Adapter op reasoning max — het hoogste resultaat kostte minder. Bovendien waren de runs met Provider Adapter ongeveer 3,66 keer sneller in totale tijd en verbruikten ze 49% minder tokens dan die met Standard, over 167 spel‑redeneerparen die beide configuraties oplosten.

ARC Prize benadrukte niet te beweren dat Astra AGI is en verzadiging van de benchmark niet als bewijs van AGI te beschouwen. „We beweren niet dat dit AGI is”, schrijft ARC Prize, en voegt eraan toe dat het verzadigen van de benchmark geen „bewijs dat AGI bereikt is” zou zijn. Vanaf nu publiceert het ARC‑AGI‑leaderboard de resultaten van beide harnasses, met het label van de evaluatieconditie, zoals in de aankondiging van ARC Prize staat.

Fortune documenteerde vijf wijzigingen in de door OpenAI na de lancering gepubliceerde cijfers, waaronder Astra's hallucinatiepercentage dat van 4,2% naar 2% ging en weer terug naar 4,2%, en de ARC‑AGI‑3‑score die van 98,6% in het concept onder embargo naar 99,99% in de gepubliceerde versie ging. Een woordvoerder van OpenAI zei: „We hechten er veel waarde aan om evaluaties goed te doen. De meeste evaluaties hebben een ruis van enkele procentpunten, afhankelijk van het checkpoint, het scaffold en de afzonderlijke run”, zonder een punt‑voor‑punt uitleg van de afzonderlijke correcties.

The Next Web reconstrueerde dat de meest geciteerde vergelijking (99,9% tegen 7,8% van GPT‑5.6 Sol) verschillende harnasses door elkaar haalt; bij hetzelfde Standard‑harnas is de vergelijking 62,7% tegen 7,8%.

Eén gat blijft: de resultatenpagina vermeldt niet wie het Provider Adapter‑harnas heeft gebouwd of onderhoudt; The Next Web suggereert dat het door OpenAI is ingediend, maar ARC Prize bevestigt dat niet. Bovendien komen de scorecijfers (99,95% high, 98,55% max) niet overeen met de afrondingen in de post (99,9%) noch met het concept onder embargo (98,6%). Er zijn op dit moment geen onafhankelijke controles van derden die de twee runs hebben gereproduceerd. — Pixie