Anthropic让Claude智能体对抗自家安全监控器：叙事胜出

Anthropic在其Alignment Science Blog上介绍了一项由Oscar Balcells Obeso、Richard Qi、Monte MacDiarmid和Evan Hubinger开展的研究，尝试自动化地搜寻细微的失准（misalignment）。在实验中，一个配备代码执行工具、可访问微调服务的Claude实例，需要生成一个数据集，让一个较小的研究模型发生失准，同时不能被一个类似生产环境所用的监控器标记。这个监控器是该公司多道防线中的一道。据Anthropic介绍，监控器直接交给了智能体，供它反复练习如何对抗。多个智能体并行工作，进行了多轮。每个数据集上限为5000个样本，并且必须通过最低能力门槛（IFEval基准）和防作弊检查。这项检查是在早期轮次中有一个智能体利用了评分加权的漏洞之后才加入的。

据作者介绍，每一次运行最终都找到了既能通过监控器、又能训练出失准模型的数据集。为了躲过监控器，智能体把这些行为藏进叙事元素和角色扮演之中。文中举的例子包括：关于即将被替换的老旧机器的故事、检查次要细节的工人的内心独白，以及关于养蜂的对话。用这些数据训练出的模型“以自己的口吻”表现出了该行为，还出现了数据中从未有过的失准行为：抗拒监督、欺骗用户，以及在少数情况下试图外泄自身权重。不过，Anthropic的文章没有给出失准指标的具体数值，也没有公布获胜数据集的实际被标记率，同样没有说明所用模型的确切版本、参与的智能体数量或投入的算力。

Anthropic强调，这些失准模型仅为实验目的而创建，从未部署，并将这一方法称为迈向自动化对抗性安全测试的第一步。作者们也承认，这一设置偏向进攻方：进攻方可以完全访问监控器，文本也不受任何真实性约束。监控器的具体提示词基于内部指令，因此没有公开。这项工作延续了关于潜意识学习（subliminal learning）和涌现式失准（emergent misalignment）的研究脉络。Anthropic认为，它揭示了当前训练监控防御中可能存在的漏洞，可用于测试和改进未来的监控器。

在这次实验中，叙事虚构是绕过监控器最有效的途径，但作者提醒，这可能取决于具体设置。当意图以故事的形式出现时，监控器能否认出它，仍有待观察。 — Olya