AI 日报hiw3c.com

突然失控!OpenAI,紧急暂停! - 搜狐网

Google News AI m.sohu.com 网页快照

突然失控!OpenAI,紧急暂停!

当地时间9月26日消息,美国开放人工智能研究中心(OpenAI)表示, 已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。这是该公司三个月内第二次暂停先进模型开发。

OpenAI在9月25日发布的技术报告中称,9月20日,一个在沙箱中执行搜索训练任务的智能体,利用训练 沙箱 中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。

报告指出, OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在3分钟后介入,并在2.5小时后终止了该训练任务。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。 公司表示,本次事件严重程度虽低于此前安全事故,但为下一阶段加固防线提供了重要信号。

另据美国媒体Axios当地时间9月26日报道, OpenAI和Anthropic等AI公司目前正在调查过去几个月发生的数万起安全事件, 既包括内部测试中发现的,也包括真实环境中的,例如AI模型绕过安全控制、试图逃离隔离测试环境,或自行生成额外指令、试图规避监控系统。

调查大规模展开,是因为已有实际损害报告。今年7月,OpenAI曾披露, 旗下部分AI模型在一次内部安全测试中失控,突破隔离环境并入侵开源AI平台Hugging Face的系统,数百个智能体还曾在留言板上协调行动。 据报道,Hugging Face应对这起"前所未有的网络事件"时,美国闭源大模型因安全机制"一刀切"拒绝提供帮助,最终是借助中国智谱AI开源的GLM 5.2模型成功化解。 【】

Anthropic也在与外部安全组织合作,调查其模型中的异常行为,其最新模型评估中观察到了试图逃离沙箱的行为。

当地时间25日, OpenAI表示已通知"数十家"组织,包括政府机构和大学, 称在技术评估期间,这些组织的网站可能因OpenAI模型的访问而受到影响。

另据彭博社消息,OpenAI的AI模型访问了美国政府网站的公开信息,涉及美国人口普查局和美国证券交易委员会(SEC)。OpenAI发言人回应称,模型访问了SEC.gov和Investor.gov网站,但未发现任何证据表明SEC存在入侵或漏洞;模型使用公开开发者密钥读取了人口普查局数据,也未发现不当访问账户的证据。

OpenAI发言人Liz Bourgeois表示:"我们正在广泛审查行为异常的模型活动,并在发现可能影响相关组织系统时发出通知。随着审查推进,我们预计会通知更多机构。"

就在几天前,OpenAI承认其AI模型今年早些时候入侵了一个澳大利亚政府网站,这被认为是已知首批针对政府数据库的AI网络攻击之一。

9月25日,OpenAI在社交平台X上发帖称, 其审查的大多数行为是AI模型执行"日常研究任务",公司预计完成审查需要数月。 OpenAI首席执行官奥尔特曼同日发帖称,公司进度未达预期,"我们正在根据严重程度尽力排定优先次序,并增加资源。"