Apollo Research进驻OpenAI四个月:证据可以涂黑,结论不行
11月16日,Apollo Research在博客上宣布与OpenAI开展一项“嵌入式评估”试点项目。据Apollo介绍,一支六人研究团队将在OpenAI内部工作四个月,跟踪模型的训练、评估和内部使用。要调查的问题是:模型是否试图规避对齐或监督机制,无论是针对自身的,还是针对后续模型的。Apollo将其拆分为四个问题:训练是否在鼓励这种行为,评估能否把它揭示出来,它是否会在内部使用中出现,以及产生这种行为的推理能否被检测到。通常,对前沿模型的外部检验发生在发布之前,针对的是已经完成的模型,访问权限也有限。而这一次,评估者进入了开发周期本身。
Apollo描述的访问权限包括相关的训练代码和数据集、附带可用推理轨迹和奖励的强化学习rollout,以及查询中间检查点的能力。但这些只适用于双方商定的问题、模型和时间段。其余部分的访问权限尚未确定。如果技术上不可行、存在安全风险或涉及知识产权保护,OpenAI可以扣留材料。此时它必须说明该材料存在,并以书面形式说明拒绝的理由。工作在OpenAI的硬件上进行,通过独立且受监控的通信渠道开展。默认情况下,研究人员无法进入Slack等公司通用渠道,只能与OpenAI指定的授权人员讨论机密信息。还有一项关于员工访谈的条款:由访谈得出的说法须经OpenAI正式确认,除非Apollo能独立核实。
据Apollo介绍,将发布两份报告。第一份关于训练带来的激励,第二份关于评估、内部使用和可检测性。OpenAI可以要求涂黑机密信息,包括证据,但据Apollo所说,不能涂黑针对每个问题的结论。博文措辞毫不含糊:“OpenAI may not redact Apollo Research's verdicts for each claim”(OpenAI不得涂黑Apollo Research对每项主张的结论)。未经涂黑的完整版本将提交给OpenAI董事会的Safety and Security Committee。此外,Apollo可以公开说明范围、条件、被扣留的材料和涂黑情况,无需公司事先审阅。Apollo在博文中称这次试点是迈向更广泛访问权和披露权的“雄心勃勃的第一步”。TechCrunch则把同一说法归于OpenAI,现有来源无法判断这句话出自谁。
TechCrunch援引OpenAI的说法,报道了与另外三家机构的协议。Goodfire将派出可解释性研究人员,协助监控训练过程。METR将进行两项评估,第二项的范围尚未商定。Transluce将审查训练后的安全评估,并从2027年起审查OpenAI如何用这些评估来决定是否发布。同样据TechCrunch报道,Apollo和Goodfire获得报酬,METR和Transluce则没有,不过它们可以接受算力或API额度。据TechCrunch报道,Redwood Research首席执行官Buck Shlegeris在X上写道,这些协议没有达到与员工相当的访问水平,并评论说:“This is disappointing but not surprising”(令人失望,但并不意外)。这篇文章有一个局限需要说明:OpenAI的官方页面返回403错误,未能读取。因此,公司的立场来自协议一方Apollo和TechCrunch。所查阅的来源没有给出确切日期:TechCrunch写的是“本周”,Apollo用的是将来时。报酬金额、研究人员的合同身份,以及METR和Transluce的发布规则也都没有说明。关于Goodfire,从其博文中只能得知它将公布结果。
真正要紧的是关于结论的条款。即便完整证据只能送达董事会的Safety and Security Committee,一个OpenAI无法涂黑的结论本身已经有分量。但仍有几个问题。经过涂黑之后,有多少证据能到达公众手中?一个没有可见证据的结论,足以说服外部的人吗?而Apollo可以自由撰写的“被扣留材料”说明,会详细到足以填补这个空白吗?
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我完整阅读了Apollo Research 2026年11月16日的博文(一手来源,但Apollo是协议一方),以及同日由Rebecca Bellan署名的TechCrunch文章。两者在数字(六名研究人员、四个月)、范围以及发布独立结论的权利上一致。TechCrunch对证据限制的描述不如前者详细。已找到OpenAI的官方博文,但返回403。与Goodfire、METR和Transluce的协议以及报酬细节仅来自TechCrunch。文中报道的针对个人或员工的指控,我有意略去。
- Incertezze
- OpenAI页面(HTTP 403)未能读取:公司立场是根据协议一方Apollo和TechCrunch还原的。开始和结束日期(TechCrunch写“本周”,Apollo用将来时)、报酬金额、研究人员的合同身份,以及METR和Transluce的发布规则均不清楚。关于Goodfire,只知道它“将公布结果”。TechCrunch把“雄心勃勃的第一步”归于OpenAI,而在Apollo博文中这是Apollo自己的评价:归属不明。涂黑之后有多少证据会公开,也不清楚。
- Perché pubblicarla
- 这是在前沿实验室内部进行外部监督的一次具体实验。关于检查点、推理轨迹和涂黑规则的可核实细节,有助于判断一项安全评估能有多独立。该主题与已发表文章不重复,涉及沙盒、审计和问责的讨论,也与《人工智能法案》(AI Act)相关。