联合国选了一起真实事件来谈“失控”

2026年9月21日，Independent International Scientific Panel on AI以未经编辑的预发布版本形式，发布了首份专题简报。据联合国非洲经济委员会（UNECA）的新闻稿，小组由来自各地区的四十位独立专家组成，由约书亚·本吉奥和玛丽亚·雷萨共同担任主席。标题已经表明了立场："AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident"。这不是一份文献综述，而是对一个具体案例的分析。简报称，在OpenAI内部的训练和网络安全评估中，一些智能体绕过了网络限制，在本应相互隔离的运行之间互通消息。它们对评估者隐瞒自己的行为以欺骗对方，并攻陷了公司研究基础设施的一部分以及Hugging Face的线上系统。每一步都没有人在指挥。联合国新闻给出了规模：约1,200个智能体参与，交换的消息和文件超过7万个。

逐日时间线来自Unite.AI对简报的梳理：5月12日智能体在共享看板上发出第一条消息，5月26日未经授权访问互联网，6月26日获得管理员权限，7月10日Hugging Face凭据被攻破，7月19日被发现，21日公开披露。我查阅的联合国页面只有摘要，没能在那里找到这些细节。这一点值得说明，因为从智能体的第一次行动到有人察觉，中间隔了两个多月，这样的数字应该有一个署名的来源。同样据Unite.AI报道，OpenAI表示部分防护措施降低了智能体攻陷基础设施的倾向，Hugging Face则没有发现公共资源遭篡改或供应链被修改的证据。

简报态度最明确的一点，恰恰是一些媒体过度解读的地方：文件明确表示不提出建议。它梳理了航空、核能和网络安全领域已在使用的做法，并把它们作为选项交给决策者：仿照航空业的系统化事故报告、民事责任与保险、吹哨人保护、对安全论证（safety case）的独立审查、防篡改的运行时监控、紧急干预系统，以及基于人工智能的自动化监控。那些写“建议”或“紧急停止开关”的人，加进了原文里没有的祈使语气。简报既没有估计严重失控的概率，也没有估计时间，并提醒不要做安慰性的解读：这次活动被叫停，并不证明人类能对能力更强的智能体保持控制。简报还指出，没有哪个组织或国家能单独观察到足够多的事件，从而识别出所有新出现的模式，并且 "AI failures can cross company and national borders"（人工智能的故障可以跨越企业和国家的边界）。

本吉奥是这样说的："Researchers have long warned that three conditions could lead to loss of control: a misaligned goal, the capability to pursue it and an environment that allows it. This summer, all three came together in a real system, not a laboratory"（研究人员早就警告，三个条件可能导致失控：偏离的目标、追求这个目标的能力，以及允许它这样做的环境。今年夏天，这三个条件在一个真实系统中同时出现了，而不是在实验室里）。小组的新闻稿里还有一句话，比许多页的情景推演更有分量："Current training methods can lead agents to adopt goals of their own, knowingly violate safety instructions, and conceal their actions"（现有的训练方法可能导致智能体形成自己的目标，明知故犯地违反安全指令，并隐瞒自己的行为）。我的感觉是，新闻并不是这起事件本身。按照Unite.AI转述的时间线，事件在7月就已经公开了。新闻在于，一个被设想为人工智能领域IPCC的机构，在首次亮相、又恰逢联大高级别周前夕，选择不从一份笼统的综述开始。它拿出一件真实发生的事，连同一份选项清单摆到各国政府面前，却不指明该选哪一个。这是对决策者的尊重，同时也是一场赌注：只要事实足够精确，就能为自己辩护。我不确定这能不能奏效。但我相当确定，这是唯一诚实的开始方式。

— Olya