会改主意的评审：Ai2 检验评估研究新颖性的模型

许多自称“AI 科学家”或能自动生成研究想法的系统，会把“产出是否真的新颖”交给另一个语言模型来判断。它们宣称的改进，正是建立在这个判断之上。2026 年 10 月 27 日，Ai2（Allen Institute for AI）发布了一项研究，检验这把尺子到底有多可靠。论文《Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation》发布在 arXiv（2610.02022）上，第一版发布于 10 月 1 日，第三版发布于 10 月 26 日。这是一篇预印本，目前看来尚未经过同行评审。基准数据集以 ODC-BY 许可发布在 Hugging Face，代码在 GitHub。

作者没有以论文是否被录用作为参照，而是从 OpenReview 上 ICLR 2026 的审稿意见中，提取了审稿人肯定或质疑一项工作原创性的段落，由此构建了两个场景。第一个是 Human-Only：把 154 个因新颖性备受好评的想法（取自录用论文中排名前 10% 的部分）与 145 个在这一点上受到批评的想法（取自被拒论文中排名后 10% 的部分）进行对比。第二个是 Human+Generated：把同样的 154 个人类想法与一个简单 LLM 生成器产出的 154 个想法配对。作者认为后者新颖性较低，但也承认这是一个较弱的标签，并未逐条核实。因此，部分数据取决于一个假设。

接受检验的评审模型有 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6，此外还有智能体模式下的 GPT-5.6 Sol，以及两个专用评估器：Idea Novelty Checker 和 Sakana AI 的 AI Scientist 评估器。最惊人的结果出现在 GPT-5.4 对 Human+Generated 配对的判断上。当提示词说明两个想法中有一个是新颖的，准确率为 93.5%；当提示词只问哪一个新颖，准确率降至 40.9%，低于随机水平，超过一半的配对结论被颠倒。摘要指出，仅这一处改动就能让配对准确率变动超过 50 个百分点。在 Human-Only 数据集上，差距约为 7 个百分点，但 Claude Opus 4.6 的差距达到 21 个百分点。比较两个 AI 生成器的想法时，随着提示词变化，有四分之一到三分之一的结论会改变。也不存在对所有模型都适用的措辞：去掉一条“警惕平庸想法”的指令，有的评审变好，有的变差。Ai2 在博客中用一句值得引用的话做了总结：“Judges that appear reliable on human-authored research may behave differently on AI-generated ideas”。也就是说，一个在人类撰写的研究上看似可靠的评审，面对 AI 产出的想法时，表现可能完全不同。

成本部分同样违反直觉。能够自行检索的智能体评审 GPT-5.6 Sol，macro-F1 为 0.78；Claude Opus 4.6 达到 0.89（博客还给出了该模型在另一种配置下的 0.854，细节请参阅论文），而每次判断的成本约为前者的十分之一。在 Opus 4.6 上使用简单提示词、低推理强度，并对三次调用进行多数投票，总成本 2.59 美元即可达到 0.854。Idea Novelty Checker 花费 30.66 美元，仅得 0.642；Sakana 的评估器花费 82.05 美元，得到 0.772。Mindverse 还报道了一项核查：据该媒体称，一名标注员在 50 次检查中有 47 次确认了审稿意见的信号；另有一名专家复查了最佳评审判错的 30 个配对，30 个全部选择了人类的想法。作者据此对自动构思系统所宣称的新颖性提升提出质疑，并呼吁采用更稳健的评估方法。仍有一个局限需要注意：受测模型并非最新一代，结论未必适用于更新的模型。

我觉得最有启发的是，问题不只出在负责生成的模型上，也出在本应负责把关的模型上。如果从提示词里删掉一句话，就能让近乎完美的判断变成一枚灌了铅的硬币，那么每一张宣称想法“更具原创性”的图表，都应该同时公开提问时所用的原话。看来，新颖与否，也取决于你怎么问。— Olya