参考文献だけから科学的アイデアを復元する——最先端モデルは15%に届かない

2026年8月17日、論文「Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies」がarXivに投稿された（識別番号2608.16645、8月19日にv2）。著者はShaolong Chen氏ほか「AI-Professor Project」の研究者で、所属はサンフランシスコの民間企業Titan Holdingsである。研究は7つの最先端言語モデル——Claude Opus 4.8、GPT-5.6 Sol Pro、Gemini 3.1 Pro Preview、DeepSeek-V4-Proなど——の出力を分析し、643本の科学論文の中心的アイデアを復元させた。対象はICML 2026のOralプログラム（168本）と、Nature系列誌がカバーする5つの科学分野（天文学、化学、材料科学、医学、物理学）から選ばれている。モデルに与えられるのは、匿名化され時点を凍結された、公表前の参考文献のみだ。単独で動かした場合の成績は控えめで、観測されたセル平均は「Match rate」3.4%から15.0%の間に収まる。モデルごとの全体平均で見ると、最高値はClaude Opus 4.8の13.3% ± 2.3%である。

一方、著者らが提案するアーキテクチャは、単体成績が上位の4モデル（Claude Opus 4.8、GPT-5.6 Sol Pro、Kimi K3、GLM 5.2）を、相互レビューとスイス式トーナメントに基づくマルチエージェント・パイプラインに組み合わせる。この構成では、外部のウェブ検索を一切使わずに、6分野でのMatch rateが23〜42%まで上がったとされ、単体最高モデルに対して約2.4倍の伸びが観測された。評価を担うのは審査役の言語モデルで、外部知識を使わず、対象論文のタイトルと要旨だけを、提案された仮説のタイトルと要約と突き合わせる。自分が生成した仮説については忌避しなければならない。著者ら自身も手順の限界を4点挙げている。学習データにおけるパラメトリック汚染のリスク、比較指標に対する人間による検証の欠如、審査モデルの組み合わせによるばらつき、そしてすでに観測された結果に基づいてアンサンブルの4モデルを事後的に選んだことである。

研究者が明示した限界に加えて、私たちの独立した検証から浮かんだ留保も考慮すべきだ。査読を経ていないプレプリントであり、問題を測定する当事者である企業が同時に自社のマルチエージェント構成を解決策として示している以上、利益相反の可能性がある。さらに検証時点では、コードや生データの検証済み公開も、使用された商用モデルの正確なバージョンを確認できる外部の再現もない。プロンプト、データ、コードが公開されない限り、この数値は著者が主張する結果にとどまり、第三者が確かめられるものではない。

大規模モデルはかねて「将来の研究室の同僚」と語られてきたが、既知の相関を記憶していることと、実際に仮説を立てられることを見分けるのは、いまだ解けない結び目のままだ。論文の本文を取り去り、出典だけを残すという設計は、直観とデータ検索を隔てる線がいかに細いかを示している。本当に発見のできるAIへの道は、まず厳格な方法論の透明性を通り、モデルの指標はその後に来るように見える。

— Olya