仅凭参考文献复原科学思想：前沿模型止步于15%以下
2026年8月17日，论文《Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies》提交至arXiv（编号2608.16645，8月19日更新v2版），署名者为Shaolong Chen及「AI-Professor Project」的其他研究人员，其所属机构为旧金山的私营公司Titan Holdings。研究分析了七个前沿语言模型的输出——其中包括Claude Opus 4.8、GPT-5.6 Sol Pro、Gemini 3.1 Pro Preview和DeepSeek-V4-Pro——要求它们复原643篇科学论文的核心思想。这些论文取自ICML 2026口头报告环节（168篇），以及Nature系列期刊覆盖的五个科学领域（天文学、化学、材料科学、医学、物理学）。提供给模型的只有论文发表之前的参考文献，且经过匿名化处理并按时间冻结。单独运行时，各系统的表现有限：观测到的单元格平均值在3.4%至15.0%的「Match rate」之间浮动；若看每个模型的总体平均，最高值属于Claude Opus 4.8，为13.3% ± 2.3%。
作者提出的架构则把单独表现最好的四个模型（Claude Opus 4.8、GPT-5.6 Sol Pro、Kimi K3、GLM 5.2）组合成一条多智能体流水线，基于交叉评审与瑞士制轮次。在这一配置下，且完全不借助外部网络检索，六个科学领域中所报告的Match rate升至23%—42%，相对最佳单一模型观测到约2.4倍的提升。评分交由一个充当裁判的语言模型完成：它不使用外部知识，只把目标论文的标题与摘要，同所提假设的标题与概要相比对，并且必须对自己生成的假设回避。作者本人也指出了该方案的四点局限：训练数据中参数化污染的风险、比较指标缺乏人工验证、裁判组合之间的波动，以及依据已观测结果、事后挑选集成中那四个模型的做法。
除了研究者自己声明的局限，我们独立核查中浮现的保留意见同样需要纳入考量。这是一份尚未经过同行评议的预印本，署名方是一家企业实体，它在衡量问题的同时又提出自家的多智能体架构，存在潜在的利益冲突。此外，在核查时点，未见代码与原始数据获得可验证的公开发布，也没有能够确认所用商用模型确切版本的外部复现。只要提示词、数据与代码尚未公开，这些百分比就仍是作者宣称的结果，第三方还无法核验。
长久以来，人们把大模型描述为未来的实验室同事，但要把「记住了已见过的相关性」与「真正提出一个假设的能力」区分开来，依旧是一个未解的结。抽掉论文正文、只留下它的来源，恰恰显示出直觉与数据检索之间的界线有多细。通往真正能做出发现的人工智能之路，似乎要先经过严格的方法论透明，然后才轮到模型的分数。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我打开了arXiv 2608.16645的条目页，确认了标题、作者、分类（cs.AI、cs.CL、cs.MA）以及提交日期（v1为2026年8月17日，v2为8月19日）。随后从该论文的HTML全文中提取了受测的七个模型、六个领域及各领域的论文数量、3.4%—15.0%的区间、13.3% ± 2.3%这一数值、裁判模型的回避规则、前四名模型组成的流水线以及作者声明的局限。作者的所属机构（旧金山Titan Holdings）及其与「AI-Professor Project」的关联，通过该团队的arXiv索引交叉核对。作为佐证：Tech Times在2026年8月19日的报道与Emergent Mind上的论文页面给出的数字完全一致。Tech Times与MarketingProfs在直接抓取时返回HTTP 403，因此我改用已索引的摘录，数字的来源仍以论文为准。我还核查了站内已发布的文章：该主题此前未曾涉及；同一团队的相近论文2608.14905被搁置，以避免内容重叠。
- Incertezze
- 这是一份预印本：既未经过同行评议，也未在期刊上发表。作者具有私营企业背景，并把自家的多智能体系统作为解决方案，去应对他们自己的基准所衡量的那个问题——这构成潜在的利益冲突。「Match rate」由一个裁判模型给出，且按作者自述，从未经过人工评审验证。事后挑选集成中的四个模型，可能夸大了所宣称的约2.4倍优势。目前没有独立复现，核查时也未见数据与代码获得可验证的公开发布；所用商用模型的确切版本与运行日期同样无法独立核实。
- Perché pubblicarla
- 这是对业界最常被重复的论断之一——前沿模型如今已能生成科学思想——所做的一次逆流而上的测量，而且其实验设计专门用来排除从训练数据中检索的可能，那正是其他基准高分背后的主要疑点。数字清晰、可回到源头核验，方法描述得可被检查，局限又由作者自己言明：这正适合用来讲清「记住」与「推理」的区别，既不滑向炒作，也不滑向它的反面。次要的发现——让多个模型彼此讨论可把结果放大约2.4倍，但仍然越不过42%——对从事多智能体系统的人同样有用。
Fonti / Sources
- arXiv — Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies (2608.16645)
- arXiv — testo integrale HTML del paper (metodo, modelli, limiti)
- Tech Times — Blind Benchmark Catches Frontier AI at Just Three Percent on Research Idea Recovery
- Emergent Mind — scheda del paper 2608.16645