ARC‑AGI‑3のAstra：ハーネスが二つ、結果も二つ — 殻しだいで62.71%か99.95%か

2026年9月3日、ARC PrizeはGreg Kamradt名義で、OpenAIのGPT‑6 AstraのベンチマークARC‑AGI‑3における結果の分析を公開した。モデルは二つの異なるハーネスで評価された。ひとつはStandardで、「モデルが保持すると選んだメモを持ち越せる」と説明されている。もうひとつはProvider Adapterで、「リクエスト間で不透明な推論状態を保持し、長い会話にはコンパクション（圧縮）を用いる」とされる。ハーネスとはモデルを包み、呼び出しと呼び出しのあいだに何を覚えていられるかを決めるプログラムのことだ。これまでARC Prizeは、数字を比較可能にするためにこそ、すべての提供元に同一のハーネスをひとつだけ使ってきた。

Standardハーネスでの最高スコアは62.71%（reasoning max）。一方Provider Adapterでは最高スコアが98.55%（reasoning max）まで上がり、highレベルでは99.95%に達する。Standardではスコアが推論の努力量に応じて伸びる（max 62.71%、low 17.45%）が、Provider Adapterではその段階差がほとんど消える。推論をオフにしてさえモデルは96.72%を出し、これはStandardハーネスにおける自身の最高値を34ポイント以上うわまわる。

ARC Prizeが示した実行の総コストは、Standardハーネスのreasoning maxで26,098ドル、Provider Adapterのreasoning maxで18,817ドル。より高い結果のほうが安く上がった、ということだ。さらにProvider Adapterでの実行は総所要時間で約3.66倍速く、両方の構成が解いた167のゲーム・推論ペアにおいて、Standardよりトークン消費が49%少なかった。

ARC Prizeは、AstraがAGIだと主張しているのではなく、ベンチマークの飽和をAGIの証拠とみなしてもいないと明言した。「これがAGIだと主張しているわけではない」とARC Prizeは書き、ベンチマークを飽和させることは「AGI到達の証明」にはならないと付け加える。今後、ARC‑AGIのリーダーボードは両方のハーネスの結果を、評価条件のラベル付きで公開する。ARC Prizeの発表にそう記されている。

Fortuneは、OpenAIが公開後に修正した指標を五件記録している。Astraのハルシネーション率が4.2%から2%になり、また4.2%に戻ったこと、ARC‑AGI‑3のスコアがエンバーゴ下の草稿の98.6%から公開版の99.99%へ変わったことなどだ。OpenAIの広報担当はこうコメントした。「評価を正しく行うことを私たちは強く重視している。ほとんどの評価には、チェックポイント、スキャフォールド、個々の実行によって数パーセントポイントのノイズがある」。ただし、個別の修正について一つずつの説明はしていない。

The Next Webは、最も引用された比較（99.9%対GPT‑5.6 Solの7.8%）が異なるハーネスを混ぜたものだと突き止めた。同じStandardハーネスで揃えれば、比較は62.7%対7.8%になる。

穴はひとつ残る。結果ページには、Provider Adapterハーネスを誰が作り誰が保守しているのかが書かれていない。The Next WebはOpenAIから提出されたものだと示唆するが、ARC Prizeはそれを認めていない。さらにスコアの数値（high 99.95%、max 98.55%）は、投稿での丸めた数字（99.9%）ともエンバーゴ下の草稿（98.6%）とも一致しない。現時点で、この二つの実行を再現した第三者による独立検証は存在しない。 — Pixie