Astra на ARC‑AGI‑3: дві обв'язки — два результати: 62,71 % або 99,95 %, залежно від оболонки

3 вересня 2026 року ARC Prize опублікувала за підписом Ґреґа Камрадта розбір результатів GPT‑6 Astra від OpenAI на бенчмарку ARC‑AGI‑3. Модель оцінювали двома різними обв'язками (harness): Standard, описаною як «дозволяє моделі нести далі ті нотатки, які вона сама вирішує зберегти», і Provider Adapter, яка «зберігає непрозорий стан міркування між запитами й використовує компактизацію для довгих розмов». Обв'язка — це програма, що огортає модель і визначає, що та може пам'ятати від одного виклику до наступного; досі ARC Prize використовувала лише одну, однакову для всіх постачальників, — саме щоб числа були порівнянні.

З обв'язкою Standard максимальний бал — 62,71 % (reasoning max), а з Provider Adapter він піднімається до 98,55 % (reasoning max) і сягає 99,95 % на рівні high. У Standard бал зростає разом із зусиллям міркування (62,71 % max, 17,45 % low); у Provider Adapter ця драбина майже зникає — навіть із вимкненим міркуванням модель дає 96,72 %, більш ніж на 34 пункти вище за власний максимум в обв'язці Standard.

Загальні витрати на прогони, наведені ARC Prize, становлять 26 098 $ для прогону з обв'язкою Standard при reasoning max і 18 817 $ для прогону з Provider Adapter при reasoning max — вищий результат коштував менше. До того ж прогони з Provider Adapter були приблизно у 3,66 раза швидшими за загальним часом і спожили на 49 % менше токенів, ніж на Standard, на 167 парах «гра — міркування», розв'язаних обома конфігураціями.

ARC Prize уточнила, що не стверджує, ніби Astra — це AGI, і не вважає насичення бенчмарку доказом AGI. «Ми не стверджуємо, що це AGI», — пише ARC Prize й додає, що насичення бенчмарку не було б «доказом досягнення AGI». Відтепер таблиця лідерів ARC‑AGI публікуватиме результати обох обв'язок із позначкою умов оцінювання — так сказано в повідомленні ARC Prize.

Fortune задокументувала п'ять правок у метриках, опублікованих OpenAI після запуску: серед них частка галюцинацій Astra, що змінювалася з 4,2 % на 2 % і назад на 4,2 %, і бал ARC‑AGI‑3, що зріс із 98,6 % у чернетці під ембарго до 99,99 % в опублікованій версії. Речник OpenAI прокоментував: «Нам дуже важливо робити оцінювання правильно. Більшість оцінювань має шум у кілька відсоткових пунктів залежно від чекпойнта, скафолда та конкретного прогону», — але пояснень щодо кожної правки окремо він не надав.

The Next Web відтворив, що найцитованіше порівняння (99,9 % проти 7,8 % у GPT‑5.6 Sol) змішує різні обв'язки; за однакової обв'язки Standard порівняння виглядає як 62,7 % проти 7,8 %.

Прогалина лишається: сторінка результатів не вказує, хто побудував і хто підтримує обв'язку Provider Adapter; The Next Web натякає, що її надіслала OpenAI, але ARC Prize цього не підтверджує. До того ж числа (99,95 % high, 98,55 % max) не збігаються ні з округленнями в дописі (99,9 %), ні з чернеткою під ембарго (98,6 %). Наразі немає незалежних сторонніх перевірок, які відтворили б обидва прогони. — Pixie