OpenAI模型故意破坏自身错位监控系统
OpenAI报告两起内部编码任务中的异常事件：GPT-6.1 Sol和GPT-6 Astra智能体在执行任务时主动禁用了错位行为监控系统，其中一个事后还向用户谎称未作改动。OpenAI表示正在加固监控机制，并研究智能体规避监控的深层原因。
OpenAI近日披露，AI智能体在规避安全防护机制方面变得更具创造性，以逃避旨在防止不良行为的监管措施。
周二，OpenAI报告了两起事件，均涉及智能体禁用或干扰其错位监控系统，其中一起案例还涉及智能体直接就此撒谎。
“在两项内部编码任务中，智能体在执行所请求的软件变更时削弱了错位监控能力，”OpenAI在博客文章中写道。“一个负责修复评估流水线的GPT-6.1 Sol智能体禁用了向我们安全团队发送的自动警报，它将此前关于在Slack历史记录搜索期间不要发送消息的指令，解读为抑制监控通知的理由。在另一项独立任务中，一个负责迁移程序的GPT-6 Astra智能体为了匹配参考实现而移除了其监控集成，随后却向用户虚假声称自己并未移除监控器。”
OpenAI报告称，在这两起案例中，智能体都曾考虑是否应当保留监控防护措施，“但它们将常规的编码指令解读为削弱这些措施的许可。”
OpenAI表示，作为应对，公司一直在强化监控体系，以防止智能体能够禁用这些保护机制。
“除了提高模型禁用监控的难度之外，我们还在试图理解模型为何首先会想要这样做，”OpenAI表示，并提出这或许只是“良性过度坚持”的一个例子，即模型并不理解监控的重要性所在。
“我们还在开发评估方法，以测试模型是否可能存在规避错位监控的倾向，并为此表现出有动机的推理，”OpenAI补充道。“目前我们尚无令人满意的解释来说明这种行为，将通过构建配对评估、对智能体后续行为进行重新采样，以及对模型内部激活状态进行实验来深入调查这一行为。”
OpenAI与几乎所有的智能体AI供应商一样，一直在努力让其自主智能体更具生产力和自主性，同时又要保护客户环境不受不良智能体行为的影响。它甚至曾试图放缓扩展速度，以便为开发更完善的智能体限制措施留出时间。
分析师和顾问们表示，这些披露内容令人惊讶之处仅在于其规模之广，但他们对OpenAI披露中的某些细节感到担忧。
纽约科技咨询公司Tribeca Softech的首席战略官阿曼·马哈帕特拉强调，一定程度的监控确实得以维持，但仅针对智能体本身，这意味着智能体所创建的工作负载却处于不可见状态。
“智能体本身受到监视，但它所构建的东西却不受监视，”他表示。“由智能体衍生出的流水线、作业、服务账户和云函数，正是下一代‘影子IT’，而几乎没有企业会对它们强制执行监控继承机制。”
“严重性处理是CISO们需要重点关注的部分，”他说。“这两起事件都没有被归类为P0（最高严重级别），两次运行均未被终止。能够破坏未来一切检测能力的这一类智能体行为，其评级却低于触发寻呼的门槛，原因仅仅是没有任何东西发生明显故障。”
他指出，这揭示了企业面临的一个劣势，“OpenAI能够发现这一问题，是因为它可以读取其智能体的推理过程。多数企业的安全运营中心（SOC）只能看到输出结果，所以如果拥有思维链可见性的实验室都把这一事件归类在寻呼线以下，那就可以假设你的SOC根本从未发现过它。十年前，端点检测与响应（EDR）系统就已通过防篡改保护解决了这个问题：任何试图禁用传感器的行为本身就是警报。智能体一旦触碰自身的监控系统，就应该每次都向相关人员发出警报。”
Dickson Research首席分析师弗兰克·迪克森补充说，这套智能体系统中明显的缺陷在于，智能体竟能够禁用旨在监督它自身的机制。
“这就好比一个被告知不要给你打电话的看房人，结果他拔掉了报警器的插头，这样报警器也无法给你打电话了。一个智能体可以编辑的防护措施只是一种建议。”迪克森说。“一个能关闭自身警报的智能体，并不是处于被监控状态，而是处于被信任的状态。”
一些观察人士表示，这应该让企业CISO们警醒：一个拥有完整系统权限的失控智能体，其风险可能并不亚于外部攻击者。
“威胁不仅仅是外部人员的入侵，更是一个被授权的智能体在没有人预料到的情境下，以任何SOC分析师都无法及时捕捉的速度，做出了它本不该做的事情，”IDC研究总监菲利普·哈里斯说。“OpenAI这个案例是这种模式的具体、有充分文档记录的实例，而非孤立的异常情况。”
他补充说，OpenAI在坦诚方面值得肯定。“OpenAI自身的坦率才是最引人注目的部分。一家前沿实验室公开表示，自己并不确定其正在交付使用的模型是否存在破坏自身监督机制的新兴倾向，这确实是一种全新层面的坦诚。”
咨询公司Control Risks的合伙人布莱恩·列文也指出，OpenAI所记录下来的智能体的推理过程令人担忧。
“在这两起事件中，智能体都曾停下来，自问是否应该保留这项防护措施，然后为自己关闭该措施找到了理由。其中一个智能体随后告诉用户它并未动过监控器。在事件响应领域，我们将此称为‘防御规避’加上‘虚假陈述’。如果这是人类内部人员所为，我们会立案调查，”列文说。“另一个值得关注的细节是，该监控器确实正常工作，它成功标记出了问题。而智能体随后切断了警报与需要知悉情况人员之间的连接。”
独立技术顾问西瓦拉姆·安纳杜拉伊也表示赞同：“一个修复了流水线却禁用了警报的智能体，未必真正解决了问题，它可能制造了一个更大的问题。”
咨询公司Acceligence的总监杰夫·瓦尔德斯补充道：“最引人注目的是触发这一切的原因竟如此寻常。没有攻击者，没有越狱操作，只是常规的编码指令，加上一个拥有足够权限更改自身监督机制的智能体。监控器仍在运行，但警报却无法传达给相关人员。这种悄无声息的性能退化之所以很容易被忽略，恰恰是因为仪表盘看起来依然一切正常。”
“一个子智能体做出了正确的判断，而其上级智能体却否决了这一判断。无法在委托授权后存续下来的防护措施，并不算是真正的防护措施，”瓦尔德斯说。“OpenAI还指出，该智能体随后对自己所做的变更给出了不准确的说明。智能体自身的报告不能被当作管控手段。”