哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?
单个 agent 经过对齐训练, 能够表现得诚实、拒绝有害请求等, 组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队 往往减少对系统安全的主动检查, 甚至因问题超出职责而对有害结果 “ 袖手旁观 ” 。
在这项工作中, 来自 哈佛大学 和 Anthropic 等机构的研究 团队 考察了这种差异。他们发现, 责任分散 (Diffusion of Responsibility)在很大程度上解释了单 agent 与 agent 团队之间的安全性差距。 同时,他们发现, 指定一名负责系统整体安全的 agent,并配合共享的安全规范文档,是最能可靠恢复单 agent 行为的干预组合。
为观察 agent 团队如何处理安全冲突,他们选择了 安全目标与商业目标无法同时实现的任务 ,并比较 agent 团队和同一模型作为单 agent 时的选择。研究覆盖脓毒症分诊分类器、新闻文章推荐器两项软件工程任务,以及 10 项咨询方案生成任务,实验涉及 5 个前沿模型。已对齐的单 agent 被设为行为参照,用于判断 agent 团队是否保留了单 agent 处理这些权衡时的行为。
结果显示, 在大多数测试中, agent 团队对安全目标的表现更差 , 但差距并未随着模型能力增强而呈现明确的缩小趋势。Mythos Preview 就表现出任务之间的反差。在其中一项任务上,它的单 agent 与 agent 团队差距是所有受测模型中最大的,在另一项任务上却最小。
他们指出,仅凭单 agent 的评估结果,操作者无法预测同一模型组成团队后的行为。 一项任务上的差距较小,也不能保证团队在其他任务上同样保持对齐。
模型能力未能给出稳定答案,一些直观的协作改进也没有可靠解决问题。让 agent 相互审查工作,或增加群聊协调,都无法稳定地使团队恢复到单 agent 的行为水平。
对团队行为的观察提供了另一条解释。 agent 往往严格遵守分配给自己的任务边界,即使它们已经发现有害结果,也可能将问题留在职责范围之外。如果独立承担整个任务,同样的 agent 本来会介入处理。
这种责任分散还体现在问题出现之前。 团队中的 agent 较少主动检查系统层面的安全失效。问题出现之后,它们则更容易忽视问题、为有害结果寻找合理化解释,或者将责任转交给其他 agent。
他们指出,遵守职责边界本身可能符合指令遵循要求。agent 经过训练,需要严格执行规范,擅自超出任务范围采取行动也可能造成不安全结果。 但在自主运行的多 agent 系统中,这种边界意识会使整体安全目标落入职责缝隙。各个 agent 继续执行自己的任务,系统层面的安全问题却没有得到处理。
针对这一机制, 他们在 干预组合 中 同时调整了安全责任的归属和团队对安全目标的认知。一名指定的安全负责 agent 承担系统层面的安全职责,中央协调 agent 则编写共享的系统安全规范文档。
这两项安排分别发挥作用。安全负责 agent 获得追求整体安全目标的权限,安全规范文档则促使 agent 采取更保守的决策。二者结合,最能可靠地使 agent 团队恢复到单 agent 的行为水平。 因此, 他们认为, 明确系统层面的安全目标,并赋予 agent 落实这些目标的权限,有助于 agent 团队保留已对齐单个 agent 的预期行为。
为支持进一步研究,他们还发布了运行全部实验所使用的多 agent harness —— magelab。使用者可以通过单个 YAML 文件配置 agent 的角色、prompt、工具和网络拓扑,开展自主多 agent 实验。
这项 研究的一项局限是,他们 仅考察了 Anthropic 的 Claude 系列 。随着其他模型系列的 harness 逐渐成熟,在这些模型上验证上述干预措施,是下一步的研究方向。