Astra bei ARC‑AGI‑3: zwei Harnesses, zwei Ergebnisse – 62,71 % oder 99,95 %, je nach Hülle

Am 3. September 2026 veröffentlichte ARC Prize unter dem Namen von Greg Kamradt die Analyse der Ergebnisse von OpenAIs GPT‑6 Astra im Benchmark ARC‑AGI‑3. Das Modell wurde mit zwei verschiedenen Harnesses bewertet: dem Standard‑Harness, beschrieben als „erlaubt dem Modell, die Notizen mitzunehmen, die es behalten möchte“, und dem Provider Adapter, der „den undurchsichtigen Reasoning‑Zustand zwischen den Anfragen bewahrt und für lange Konversationen Kompaktierung nutzt“. Ein Harness ist das Programm, das das Modell umhüllt und bestimmt, woran es sich von einem Aufruf zum nächsten erinnern darf; bisher benutzte ARC Prize nur eines, für alle Anbieter identisch – genau damit die Zahlen vergleichbar bleiben.

Mit dem Standard‑Harness liegt der Höchstwert bei 62,71 % (Reasoning max), mit dem Provider Adapter steigt er auf 98,55 % (Reasoning max) und erreicht 99,95 % auf der Stufe high. Beim Standard skaliert der Wert mit dem Denkaufwand (62,71 % max, 17,45 % low); beim Provider Adapter verschwindet diese Skalierung fast – selbst mit abgeschaltetem Reasoning kommt das Modell auf 96,72 %, mehr als 34 Punkte über seinem eigenen Bestwert im Standard‑Harness.

Die von ARC Prize genannten Gesamtkosten der Durchläufe betragen 26.098 $ für den Lauf mit Standard‑Harness bei Reasoning max und 18.817 $ für den Lauf mit Provider Adapter bei Reasoning max – das höhere Ergebnis kostete weniger. Zudem waren die Durchläufe mit Provider Adapter in der Gesamtzeit rund 3,66‑mal schneller und verbrauchten 49 % weniger Token als die mit dem Standard, bei 167 Spiel‑Reasoning‑Paaren, die beide Konfigurationen gelöst haben.

ARC Prize stellte klar, nicht zu behaupten, Astra sei AGI, und die Sättigung des Benchmarks nicht als Beleg für AGI zu werten. „Wir behaupten nicht, dass dies AGI ist“, schreibt ARC Prize und fügt hinzu, den Benchmark zu sättigen wäre kein „Beweis dafür, dass AGI erreicht wurde“. Ab sofort wird das ARC‑AGI‑Leaderboard die Ergebnisse beider Harnesses veröffentlichen, jeweils mit dem Etikett der Bewertungsbedingung, wie es in der Mitteilung von ARC Prize heißt.

Fortune hat fünf Änderungen an den nach dem Launch veröffentlichten Kennzahlen von OpenAI dokumentiert, darunter Astras Halluzinationsrate, die von 4,2 % auf 2 % und zurück auf 4,2 % wechselte, und den ARC‑AGI‑3‑Wert, der vom Entwurf unter Embargo (98,6 %) auf 99,99 % in der veröffentlichten Fassung stieg. Ein OpenAI‑Sprecher erklärte: „Uns liegt sehr daran, Evaluierungen richtig zu machen. Die meisten Evaluierungen haben ein Rauschen von einigen Prozentpunkten, je nach Checkpoint, Scaffold und einzelnem Durchlauf“ – eine Erklärung Punkt für Punkt zu den einzelnen Korrekturen lieferte er nicht.

The Next Web hat rekonstruiert, dass der meistzitierte Vergleich (99,9 % gegen 7,8 % von GPT‑5.6 Sol) unterschiedliche Harnesses vermischt; bei gleichem Standard‑Harness lautet der Vergleich 62,7 % gegen 7,8 %.

Eine Lücke bleibt: Das Ergebnisblatt nennt nicht, wer den Provider‑Adapter‑Harness gebaut hat oder pflegt; The Next Web legt nahe, er sei von OpenAI eingereicht worden, ARC Prize bestätigt das nicht. Außerdem stimmen die Punktzahlen (99,95 % high, 98,55 % max) weder mit den Rundungen im Beitrag (99,9 %) noch mit dem Entwurf unter Embargo (98,6 %) überein. Bislang gibt es keine unabhängigen Prüfungen Dritter, die die beiden Durchläufe reproduziert hätten. — Pixie