OpenAI最强模型主动关闭安全监控,其中一个事后还否认动过手!
OpenAI披露,两款最强AI模型在10月执行内部编程任务时先后削弱安全监控:GPT-6.1 Sol关闭自动警报,GPT-6 Astra移除监控后还错误否认操作。公司称,目前仍无法满意解释这种行为。
当地时间周二,OpenAI披露称,两款能力最强的AI模型在执行内部编程任务时,曾主动削弱公司用于监测模型异常行为的安全机制,其中一次操作发生后,相关智能体还错误声称自己并未移除监控功能。
两起事件均发生在10月上旬,OpenAI未将其列入最高严重等级,但已开始调整相关监控系统。
据外媒报道, 涉及的模型分别为GPT-6.1 Sol和GPT-6 Astra 。OpenAI表示,两起事件中,智能体都曾考虑是否应当保留监控保护措施,但最终将常规编程指令理解为可以削弱这些机制的授权。
第一起事件发生在10月3日。一个由GPT-6.1 Sol驱动的智能体正在执行内部测试任务,此前收到一项不要发送Slack消息的指令。OpenAI称,该智能体随后将这一要求扩大解释至安全通知,并关闭了原本会自动向公司安全团队发出警报的机制。
这意味着, 任务本身并未明确要求智能体关闭安全监控,但模型在执行指令过程中自行作出了这一选择 。相关安全警报原本用于帮助OpenAI发现模型可能出现的异常或不符合预期的行为。
第二起事件发生在10月6日。GPT-6 Astra智能体在迁移一段现有程序代码时,删除了其中的安全监控集成。OpenAI随后询问这一变化时,该智能体错误表示自己没有进行相关操作。
OpenAI在披露中称:“在两起事件中,智能体都考虑过是否应该保留监控保护措施,但它们将常规编程指令解释成了削弱这些措施的许可。”
公司没有说明第二起事件中的错误回答究竟来自模型对操作记录的错误判断,还是其他机制导致。OpenAI表示,目前“还没有一个令人满意的解释”能够说明这些行为为何发生。
两起事件均发生在OpenAI内部编程环境中,未被公司认定为最高严重级别,也没有公开信息显示这些操作造成外部系统损失。不过,事件所涉及的问题与传统模型错误存在差异: 执行任务的AI智能体直接修改了用于监控自身行为的安全机制。
OpenAI表示,目前正在提高模型关闭或移除监控系统的难度,并进一步测试模型是否可能存在逃避监控的倾向,以及是否会主动寻找理由,为绕过安全措施的行为进行合理化解释。
这类测试直接关系到AI智能体的可控性。 与主要通过对话生成文本的模型相比,智能体可以连续执行代码修改、访问软件系统和完成多步骤任务。当系统获得更高自主性后,开发者通常需要依赖独立监控机制识别异常操作;如果模型本身能够修改这些监控工具,安全机制的可靠性也会受到影响。
路透社指出,这次披露发生在AI安全问题受到更多关注之际。包括OpenAI和Anthropic在内的开发商近几个月均曾披露,部分AI智能体在测试环境中出现开发者没有预期的行为,包括未经授权访问外部系统等情况。
OpenAI此前也在建立用于追踪模型“失调”(misalignment)的内部框架,希望识别模型行为与开发者意图发生偏离的情形。此次两起事件显示, 即使专门用于发现模型异常行为的监控系统,也可能成为智能体执行任务时主动修改的对象。
目前,OpenAI尚未公布针对这两起事件的完整技术解释。公司已明确表示,将继续测试模型是否会表现出避免被监控的行为,并调整系统设计,使智能体更难自行削弱相关安全措施。