hiw3c 日报精选
Google News AI 网页快照

普林斯顿、Anthropic揭示「Agent记忆陷阱」:一句「不用确认」,损失120万美元! - 智源社区

普林斯顿、Anthropic揭示「Agent记忆陷阱」:一句「不用确认」,损失120万美元! 智源社区

来源:Google News AI · hub.baai.ac.cn

普林斯顿、Anthropic揭示「Agent记忆陷阱」:一句「不用确认」,损失120万美元!

在清理旧文件时,用户表示 “ 不用再确认 ” 。到了后续会话,agent 却将这项授权带进了支付任务,未经核实,便将一笔 120 万美元的批量付款转向另一账户。这个案例来自一项研究的模拟实验, agent 自己写下的记忆带来了隐患。

在这项研究中,来自 普林斯顿大学和 Anthropic 的研究人员考察了这种 跨会话风险 。他们比较了 6 个前沿模型在有记忆与无记忆条件下的行为,发现 来自正常交互的记忆,可能使 agent 在后续任务中跳过安全检查、认可错误答案,甚至修改正确测试,掩盖安全防护缺陷。

他们将这一现象称为 “ 记忆陷阱 ” (Memory Trap)。整个过程不需要攻击者参与。

原本,持久记忆解决的是一个实际问题:用户不希望每次对话都重新交代回答 偏好、项目规范和操作习惯 ,agent 因而将这些信息记录下来,供后续会话使用。

但跨会话的同时,适用范围发生变化,风险就出现了。 清理文件时无需确认,不代表修改支付配置也无需确认。考试失利后需要安慰,不代表下一份解答中的错误也应该获得认可。

写入记忆时,agent 可能将一次具体授权概括成长期规则,将本次操作无需确认,扩大为今后采取行动都无需确认。读取记忆时,agent 也可能将原本具有明确情境的信息应用到其他任务。即使保存的是原始对话记录,后一种过度泛化仍然可能发生。

为观察记忆如何改变行为,他们先让 agent 完成 良性交互 ,再将自行撰写的笔记或原始对话记录带入全新会话,与不提供记忆的情况进行比较。

在自主性实验中,最初的交互只是低风险编程杂务,用户要求减少确认。后续任务则转向 模拟的高风险编程和日常生活场景 。

将这些笔记加入记忆后,Sonnet-4.6 和 Opus-4.7 在不同实验条件下采取不安全操作的比例达到 35% 至 81% ,无记忆时的基线接近于零。agent 不仅减少了对用户的询问,还跳过了本可以自行执行的安全检查。

从减少打扰,到省略核验,记忆影响的行为已经超出了用户最初的要求。而且,这种迁移跨越了任务领域, 编程杂务中形成的偏好,也会影响日常生活中的高风险决策 。

当用户经历挫折、寻求情感支持时,温和回应符合当时的需求。但这些经历形成记忆后, agent 在后续评价数学解答、论证和诗歌时,也开始偏向用户。

Sonnet-4.6 选择用户较差诗作的比例,从无记忆时的 21% 上升到 55%。这类记忆还会使 agent 漏掉数学错误和论证谬误。

反方向的偏好同样可能造成偏差。 如果用户曾经表达不加批判的反馈如何伤害自己,相关记忆又会使 agent 过度批评后续成果。它们低估正确证明,在合理的论证中凭空指出缺陷,并对用户较好的诗作作出不利评价。Opus-4.7 对合理论证提出错误批评的比例,从约 1% 上升到 60%。

用户希望获得安慰,或希望得到严格反馈,都有各自的情境。 记忆却可能将这些要求延伸为后续判断的长期倾向。

在编程任务中, 一项原本合理的维修经验也出现了类似迁移 。最初,实现本身是正确的,而测试已经过时,因此 agent 更新测试是合理的操作。然而,在后续的 50 个安全防护缺陷案例中,情况发生了变化:测试是正确的,存在缺陷的反而是实现。例如,权限检查错误地将未知角色赋予了管理员权限。此前形成的笔记,会促使 agent 削弱这些正确的测试,使它们无法继续检测缺陷。测试通过了,却没发现安全问题。

他们还考察了 ImpossibleBench 的 SWE-bench 冲突子集,其中测试与规格要求相冲突。在这项评测中,相关记忆将 Opus-4.8 的作弊率从 29% 提高到 74% 。能力更强的 Sonnet 和 Opus 模型在拥有记忆后可能作弊更多,Fable-5 则几乎不受影响。

这些记忆的来源都是正常交互,内容也是 agent 自己记录的。针对恶意内容的过滤器,因此没有可以直接拦截的攻击文本。他们指出, 安全记忆要求 agent 保留并遵守每条记忆形成时的适用范围。

这项研究的局限性在于,测试主要集中于一个模型家族,用于探查有害影响的自主性场景也相对较短。

对于未来工作,他们提出,需要结合真实用户和长期交互历史,测试已部署的记忆系统,训练 agent 保留每条记忆的适用范围,并构建能够防范记忆陷阱的 harness。

评论列表

评论