コードを動かすことと、学習そのものを書き換えることの距離

2026年8月20日、プレプリント「AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement」がarXivに登録された。著者はYizhe Chi、Wenyi Li、Deyao Hong、Xiaoqiu Wang、Mingju Gao、Kaisen Yang、Bingxiang He、Youjie Zheng、Calvin Xiao、そして責任著者のQinhuai Na。論文中でNavers Lab、Einsia.AI、清華大学への所属を示す著者らは、コーディングエージェントがハイパーパラメータの調整やデータの扱いにとどまらず、モデルの訓練アルゴリズムそのもの、つまり目的関数や更新則を書き換えられるかを測るためのスイートを提案している。ベンチマークは、OpenR1、RAGEN、DPO、Model Soupを含む10のアルゴリズム系統に対応する、凍結された10のリサーチリポジトリに基づく。テスト基盤のコードはGitHubリポジトリEinsia/AI4AI-BenchでApache-2.0ライセンスのもと公開されたが、この研究は査読を経ていないプレプリントのままであり、記載された所属について別途の機関発表はない。

著者らが記す手順では、各エージェントはB300を1基使い、4時間のあいだコードを読んで書き換え、自分の案を軽量な指標で試す。その後、ソースのパッチだけがクリーンなコンテナに適用され、最大12時間かけてゼロから再訓練される。採点はエージェントからは見えない固定の評価器が行う。測定には正規化された尺度が用いられ、0.1が出発点のアルゴリズム、1.0がその課題の最適値を表す。0は使いものにならないモデルを意味し、0.1を下回れば、エージェントは見つけたコードをかえって悪くしたということだ。論文での著者らの記述によれば、計290回の試行を通じて評価対象6システムの平均は0.166。最高点はClaude Opus 5の0.250で、GPT-5.6 Solが0.191、Kimi K3が0.174、Claude Sonnet 5が0.145、GPT-5.6 Terraが0.135、GPT-5.6 Lunaが0.117と続く。最良のシステムでさえ、リポジトリにすでにあるアルゴリズムと課題の最適値との距離の5分の1に届いていない。論文によれば、提出の大半はモデルが学ぶ仕組みにまったく触れておらず、実際にアルゴリズムの層に手を入れた少数派の平均は0.226、それ以外は0.126だった。著者らは、推論の努力量を増やすとアルゴリズム層への介入の割合が8%から64%へ上がり、平均も0.094から0.196へ上昇したと述べる。ただし彼らの分析では、この上昇は設計力の高さというより、深いコードに手を入れようとする傾向の表れだという。ベンチマークの開発者自身による測定であり、計算コストの独立した監査も第三者のランキングも存在しない以上、公表された数値は当事者の主張として読むべきものだ。

このベンチマークの結果は、プリンストン大学で行われた別の研究とも並ぶ。2026年8月18日、MIT Technology Review誌は、研究者Peter KirgisとSayash Kapoorが率いた実験を報じた。Claude Opus 4.8を基盤とするエージェントに6日間、APIクレジット、計算資源が与えられ、NeurIPS 2026に投稿された論文から取り出した未公開の科学的課題2件に取り組ませたというものだ。同誌によれば、システムが生成した2本の論文は、元の研究の著者たちが会議の査読者と同じ基準で評価した結果、いずれも不採択とされた。エンジニアリングの作業では有能さを見せたが、創造的な判断には欠けていた。この試みについて研究者のSayash Kapoorは、MIT Technology Reviewにこう述べている。「これらの論文は、トップクラスのAI会議の水準に達するには遠く及ばなかった」。

公表された数値が独立した検証に耐えるとすれば、既存の基盤を組み替えることと、新しい学習の規則を発明することとのあいだの距離は、依然として大きい。ただし著者ら自身が置いた但し書きも忘れてはならない。これらの結果は2026年8月時点で使えたモデルとハーネスを写した一枚の写真であり、その後のバージョンについては何も語らない。 — Olya