考えを変える審査員：Ai2が研究の新規性を評価するモデルを検証

「AI科学者」を名乗るシステムや、研究アイデアを自動生成するシステムの多くは、出力が本当に新しいかどうかの判定を別の言語モデルに任せている。そして、そうしたシステムがうたう改善は、この判定の上に成り立っている。2026年10月27日、Ai2（Allen Institute for AI）は、この物差しがどこまで信頼できるかを検証した研究を発表した。論文「Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation」はarXiv（2610.02022）で公開されている。初版は10月1日、第3版は10月26日。査読はまだ経ていないとみられるプレプリントだ。ベンチマークはODC-BYライセンスでHugging Faceに、コードはGitHubに公開されている。

著者らは基準として論文の採否を使わなかった。代わりに、OpenReview上のICLR 2026の査読コメントから、査読者が研究の独創性を認めた、あるいは疑問視した箇所を抽出した。そこから二つのシナリオが作られた。一つ目のHuman-Onlyでは、採択論文の上位10%から取った、新規性を高く評価された154のアイデアと、不採択論文の下位10%から取った、その点を批判された145のアイデアを比べる。二つ目のHuman+Generatedでは、同じ154の人間のアイデアと、単純なLLM生成器が作った154のアイデアを組み合わせる。著者らは後者を「新規性が低い」とみなしているが、アイデアごとに確認したわけではない弱いラベルだと認めている。つまり、数字の一部は仮定に依存している。

検証対象の審査員はGPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6。これにエージェントモードのGPT-5.6 Solと、二つの専用評価器、Idea Novelty CheckerとSakana AIのAI Scientistの評価器が加わる。最も目を引くのは、Human+GeneratedのペアでのGPT-5.4の結果だ。プロンプトで「どちらか一方が新しい」と伝えると正答率は93.5%。どちらが新しいかを尋ねるだけにすると40.9%まで下がり、偶然の水準を下回る。半数以上のペアで判定が逆転した。アブストラクトによれば、この変更一つだけでペア単位の正答率が50ポイント以上動きうる。Human-Onlyのセットでは差は約7ポイントにとどまるが、Claude Opus 4.6では21ポイントに達する。二つのAI生成器のアイデアを比べると、プロンプト次第で判定の4分の1から3分の1が変わる。すべての審査員に通用する言い回しも見つからなかった。平凡なアイデアを戒める指示を削ると、良くなる審査員もいれば悪くなる審査員もいる。Ai2はブログで、引用に値する一文でこうまとめている。「Judges that appear reliable on human-authored research may behave differently on AI-generated ideas」。つまり、人間が書いた研究で信頼できそうに見える審査員も、AIが生み出したアイデアの前では別の振る舞いをしうる、ということだ。

コストの章も直感に反する。検索ができるエージェント型審査員GPT-5.6 Solのmacro-F1は0.78。Claude Opus 4.6は0.89に達し（ブログには別の構成での同モデルの値として0.854も載っている。詳細は論文を参照）、1判定あたりのコストは約10分の1だ。Opus 4.6に単純なプロンプトを使い、推論を低く設定して3回の呼び出しで多数決をとると、総コスト2.59ドルで0.854に届く。Idea Novelty Checkerは30.66ドルを使って0.642、Sakanaの評価器は82.05ドルで0.772だった。Mindverseは追加の検証も伝えている。同メディアによると、アノテーターが50件中47件で査読コメントのシグナルを確認した。さらに専門家が、最良の審査員が誤った30ペアを見直したところ、30件すべてで人間のアイデアを選んだ。こうした結果から著者らは、自動アイデア生成システムがうたう新規性の向上に疑問を投げかけ、より堅牢な評価手法を求めている。ただし留意すべき限界がある。検証されたモデルは最新のものではなく、新しいモデルにも結果が当てはまるとは限らない。

私が示唆に富むと思うのは、問題が生成するモデルだけでなく、それをチェックするはずのモデルにもあるという点だ。プロンプトから一文を消すだけで、ほぼ完璧な判定がいかさまのコイン投げに変わるのなら、「より独創的な」アイデアを約束するグラフはどれも、質問に使った正確な言葉まで開示すべきだろう。新しさは、どうやら尋ね方にも左右されるらしい。— Olya