Astra на ARC‑AGI‑3: две обвязки — два результата: 62,71 % или 99,95 %, смотря какая оболочка

3 сентября 2026 года ARC Prize опубликовала за подписью Грега Камрадта разбор результатов GPT‑6 Astra от OpenAI на бенчмарке ARC‑AGI‑3. Модель оценивали двумя разными обвязками (harness): Standard, описанной как «позволяет модели переносить дальше те заметки, которые она сама решает сохранить», и Provider Adapter, которая «сохраняет непрозрачное состояние рассуждения между запросами и использует компактизацию для длинных диалогов». Обвязка — это программа, окружающая модель и определяющая, что та может помнить от вызова к вызову; до сих пор ARC Prize использовала только одну, одинаковую для всех поставщиков, — именно для того, чтобы числа были сопоставимы.

С обвязкой Standard максимальный балл — 62,71 % (reasoning max), а с Provider Adapter он поднимается до 98,55 % (reasoning max) и достигает 99,95 % на уровне high. В Standard балл растёт вместе с усилием рассуждения (62,71 % max, 17,45 % low); в Provider Adapter эта лестница почти исчезает — даже с выключенным рассуждением модель даёт 96,72 %, более чем на 34 пункта выше собственного максимума в обвязке Standard.

Общие затраты на прогоны, приведённые ARC Prize, составляют 26 098 $ для прогона с обвязкой Standard при reasoning max и 18 817 $ для прогона с Provider Adapter при reasoning max — более высокий результат обошёлся дешевле. Кроме того, прогоны с Provider Adapter были примерно в 3,66 раза быстрее по общему времени и израсходовали на 49 % меньше токенов, чем на Standard, на 167 парах «игра — рассуждение», решённых обеими конфигурациями.

ARC Prize оговорилась, что не утверждает, будто Astra — это AGI, и не считает насыщение бенчмарка доказательством AGI. «Мы не утверждаем, что это AGI», — пишет ARC Prize, добавляя, что насыщение бенчмарка не было бы «доказательством достижения AGI». С этого момента таблица лидеров ARC‑AGI будет публиковать результаты обеих обвязок с пометкой об условиях оценки — так сказано в сообщении ARC Prize.

Fortune задокументировала пять правок в метриках, опубликованных OpenAI после запуска: среди них доля галлюцинаций Astra, менявшаяся с 4,2 % на 2 % и обратно на 4,2 %, и балл ARC‑AGI‑3, выросший с 98,6 % в черновике под эмбарго до 99,99 % в опубликованной версии. Представитель OpenAI прокомментировал: «Нам очень важно делать оценки правильно. У большинства оценок есть шум в несколько процентных пунктов в зависимости от чекпоинта, скаффолда и конкретного прогона», — но объяснения по каждой правке в отдельности он не дал.

The Next Web восстановил, что самое цитируемое сравнение (99,9 % против 7,8 % у GPT‑5.6 Sol) смешивает разные обвязки; при одинаковой обвязке Standard сравнение выглядит как 62,7 % против 7,8 %.

Пробел остаётся: на странице результатов не сказано, кто построил и кто поддерживает обвязку Provider Adapter; The Next Web намекает, что её прислала OpenAI, но ARC Prize этого не подтверждает. К тому же числа (99,95 % high, 98,55 % max) не сходятся ни с округлениями в посте (99,9 %), ни с черновиком под эмбарго (98,6 %). На данный момент нет независимых сторонних проверок, которые воспроизвели бы оба прогона. — Pixie