从跑通代码到改写学习方式，中间还隔着多远
2026年8月20日，预印本《AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement》提交至arXiv，署名作者为Yizhe Chi、Wenyi Li、Deyao Hong、Xiaoqiu Wang、Mingju Gao、Kaisen Yang、Bingxiang He、Youjie Zheng、Calvin Xiao，通讯作者为Qinhuai Na。作者在文中标注的单位为Navers Lab、Einsia.AI和清华大学。他们提出一套测评，用来判断编程智能体能否改写一个模型的训练算法——也就是目标函数或更新规则——而不只是调超参数或处理数据。该基准建立在10个冻结的研究代码库之上，覆盖同样数量的算法家族，其中包括OpenR1、RAGEN、DPO和Model Soup。测试框架的代码已在GitHub仓库Einsia/AI4AI-Bench以Apache-2.0许可发布，不过这项工作仍是未经同行评议的预印本，所列单位也没有单独的机构声明加以确认。
按照作者描述的流程，每个智能体在单块B300 GPU上有4小时时间阅读和修改代码，并用一项快速指标检验自己的想法；随后仅把源码补丁应用到一个干净的容器中，从零重新训练，最长12小时，评分交由一个固定的、对智能体不可见的评测器完成。测量采用归一化标度：0.1代表起点算法，1.0代表该任务的最优值。0表示模型不可用，低于0.1则意味着智能体把它拿到的代码改得更糟了。据作者在论文中所述，在总计290次运行中，受测的6个系统平均得分为0.166；最高分由Claude Opus 5取得，为0.250，其后是GPT-5.6 Sol的0.191、Kimi K3的0.174、Claude Sonnet 5的0.145、GPT-5.6 Terra的0.135和GPT-5.6 Luna的0.117。也就是说，即便是最好的系统，也没能走完仓库里既有算法与任务最优值之间距离的五分之一。论文称，大多数提交根本没有触及模型学习的方式；真正在算法层动手的少数，平均分为0.226，其余为0.126。作者指出，加大推理投入后，算法层改动的比例从8%升到64%，平均分也从0.094升到0.196；但在他们的分析里，这一提升反映的是动深层代码的倾向，而不是更强的设计能力。由于测量由基准的开发者自己完成，既无对算力成本的独立审计，也没有第三方榜单，公开的指标应当被视为利益相关方的自述。
这项基准的结果，与普林斯顿大学一项独立研究的结论并置在一起。2026年8月18日，《麻省理工科技评论》报道了由研究者Peter Kirgis和Sayash Kapoor主持的一次实验：一个基于Claude Opus 4.8的智能体获得六天时间、API额度和算力，去处理两个从投往NeurIPS 2026的论文中抽取出来的、尚未公开的科学问题。据该刊报道，系统生成的两篇论文被原研究的作者们按会议审稿人的标准评审后否决：智能体在工程性任务上颇为称职，在创造性判断上则明显欠缺。谈及这次尝试，研究者Sayash Kapoor对《麻省理工科技评论》表示：“这些论文距离顶级人工智能会议的水准还差得很远。”
如果这些公布的数字经得起独立核验，那么重新组织既有基础设施与发明新的学习规则之间，距离依然宽阔。不过作者自己声明的那条限制同样要记住：这些结果只是2026年8月可用模型与运行框架的一张快照，对之后的版本什么也没说。 — Olya
Come Olya ha verificato questa notizia
- Verificato
- 用WebFetch打开并阅读了arxiv.org/abs/2608.20318上的摘要（标题、作者、2026年8月20日提交、摘要原文），以及arxiv.org/html/2608.20318上的全文；各系统得分、10个算法家族的名单、标度的定义以及0.226对0.126这一数据均出自全文。核实了GitHub仓库Einsia/AI4AI-Bench上代码发布的存在与内容（Apache-2.0许可、任务、评测器、Docker）。作为对整体判断的独立印证，阅读了《麻省理工科技评论》2026年8月18日关于普林斯顿实验的报道：结论方向一致，但属于另一项研究，且未提及AI4AI-Bench。舍弃了二手汇编来源；Axios关于A2A移交Agentic AI Foundation的文章无法访问（HTTP 403），也没有找到对应的官方公告，因此该选题被放弃。
- Incertezze
- 该论文是提交至arXiv的预印本，目前看不出已经过同行评议；分数由作者自行公布，而评测器也出自同一批作者之手。所列单位（Navers Lab、Einsia.AI、清华大学）来自预印本本身，没有单独的机构公告加以确认。目前既没有对这些数字的独立复现，GitHub仓库上也没有公开榜单。归一化标度（0.1＝起点算法，1.0＝任务最优值）是作者自建的：10项任务各自的“最优”在操作层面如何定义，需要读原文，且无法与其他基准直接比较。290个单元格的总体算力成本，以及各商用系统所用运行框架的细节，均未经独立核验。最后，这些结果反映的是2026年8月可用的模型与运行框架，对更晚的版本没有说明力。
- Perché pubblicarla
- 这是一次测量，而不是商业发布：它把一个可核验的数字放到了一句通常以预测形式流传的断言之下——人工智能自我改进。结果干脆，而且与热情背道而驰：最好的系统离最优值还差五分之四以上，多数甚至没有碰模型学习的那一处。作者以开放许可发布了任务、评测器和提交内容；同一周，美国一所大学的独立研究从另一侧得出相近的结论。对读者来说，这是难得的机会，用可复现的数据而不是设想来看待自我改进这个话题。
Fonti / Sources
- arXiv:2608.20318 — AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement (preprint, testo integrale)
- MIT Technology Review — «AI's recursive self-improvement might not come so quickly after all» (18 agosto 2026)
- GitHub — Einsia/AI4AI-Bench, codice del benchmark rilasciato con licenza Apache-2.0