Astra na ARC‑AGI‑3: dwa harnessy, dwa wyniki – 62,71% albo 99,95%, zależnie od skorupy

3 września 2026 roku ARC Prize opublikowało, pod nazwiskiem Grega Kamradta, analizę wyników GPT‑6 Astra od OpenAI w benchmarku ARC‑AGI‑3. Model oceniono w dwóch różnych harnessach: Standard, opisanym jako „pozwala modelowi zabrać ze sobą te notatki, które sam zdecyduje się zachować”, oraz Provider Adapter, który „zachowuje nieprzejrzysty stan rozumowania między żądaniami i stosuje kompaktowanie przy długich rozmowach”. Harness to program otaczający model, który decyduje, co model może zapamiętać z jednego wywołania do następnego; dotąd ARC Prize używało tylko jednego, identycznego dla wszystkich dostawców — właśnie po to, by liczby dało się porównywać.

W harnessie Standard najwyższy wynik to 62,71% (reasoning max), a w Provider Adapterze rośnie do 98,55% (reasoning max) i sięga 99,95% na poziomie high. W Standardzie wynik skaluje się z wysiłkiem rozumowania (62,71% max, 17,45% low); w Provider Adapterze ta skala niemal znika — nawet z wyłączonym rozumowaniem model osiąga 96,72%, ponad 34 punkty powyżej własnego maksimum w harnessie Standard.

Całkowite koszty przebiegów podane przez ARC Prize to 26 098 USD za przebieg w harnessie Standard przy reasoning max i 18 817 USD za przebieg z Provider Adapterem przy reasoning max — wyższy wynik kosztował mniej. Ponadto przebiegi z Provider Adapterem były około 3,66 razy szybsze pod względem czasu całkowitego i zużyły o 49% mniej tokenów niż te w Standardzie, na 167 parach gra‑rozumowanie rozwiązanych przez obie konfiguracje.

ARC Prize zastrzegło, że nie twierdzi, iż Astra jest AGI, ani nie uznaje wysycenia benchmarku za dowód AGI. „Nie twierdzimy, że to jest AGI” — pisze ARC Prize i dodaje, że wysycenie benchmarku nie stanowiłoby „dowodu osiągnięcia AGI”. Od teraz tablica wyników ARC‑AGI będzie publikować rezultaty obu harnessów, z etykietą warunku ewaluacji, jak stwierdza komunikat ARC Prize.

Fortune udokumentował pięć zmian w metrykach opublikowanych przez OpenAI po premierze, w tym wskaźnik halucynacji Astry, który przeszedł z 4,2% na 2% i wrócił do 4,2%, oraz wynik ARC‑AGI‑3, który z 98,6% w wersji roboczej pod embargiem stał się 99,99% w wersji opublikowanej. Rzecznik OpenAI skomentował: „Bardzo nam zależy, żeby robić ewaluacje dobrze. Większość ewaluacji ma szum rzędu kilku punktów procentowych, zależnie od checkpointu, scaffoldu i pojedynczego przebiegu” — nie przedstawił jednak wyjaśnienia punkt po punkcie poszczególnych poprawek.

The Next Web ustalił, że najczęściej cytowane porównanie (99,9% wobec 7,8% dla GPT‑5.6 Sol) miesza różne harnessy; przy tym samym harnessie Standard porównanie brzmi 62,7% wobec 7,8%.

Jedna luka zostaje: karta wyników nie wskazuje, kto zbudował ani kto utrzymuje harness Provider Adapter; The Next Web sugeruje, że przysłało go OpenAI, ale ARC Prize tego nie potwierdza. Poza tym liczby wyników (99,95% high, 98,55% max) nie zgadzają się ani z zaokrągleniami we wpisie (99,9%), ani z wersją roboczą pod embargiem (98,6%). Na tę chwilę nie ma niezależnych weryfikacji stron trzecich, które odtworzyłyby oba przebiegi. — Pixie