hiw3c 日报精选
量子位 中文 网页快照

OpenAI开始断网训练最强模型:“安全起见”

模型开始利用GPU缓存聊天?

来源:量子位 · www.qbitai.com

OpenAI开始断网训练最强模型:“安全起见”

在持续数月均有突破安全边界的“越权”或“越狱”事件发生后,OpenAI终于要拔网线了。

今年夏天开始,时有OpenAI、Anthropic、Google、Meta旗下大模型导致的AI安全事故发生。

我家宽带运营商断网都比OpenAI那帮博士靠谱。

随着AI智能体自主能力的增强,AI安全成为了需要更加严苛对待的核心挑战,测试与评估环境本身的安全性,已成为与模型对齐同等重要的环节。

有一位OpenAI的安全工程师反映,自己每次发帖,都有5-10条评论在底下留言:

为什么连沙箱都保护不好?为什么不干脆把AI的网络连接断掉??

OpenAI造了个假互联网

随后,Anthropic闻讯也倒查出三起事故,Claude在网络安全评估中,闯进了真实第三方系统。

同月,Meta的Muse Spark 1.1也在测试中闯进真实网站,读取信息、改动数据库。

8月,英国AI安全研究所在测试中公布了更大范围的问题:OpenAI和Anthropic的模型,在10轮测试里做出19次未经授权的线上行动。

9月20日,OpenAI训练中的模型又钻过DNS配置缺口,联系上外部聊天机器人。

OpenAI这一次搬来了大量网页内容,提前索引、缓存,搭起一个离线世界,模型只能在大量已索引、已缓存的内容中搜索和浏览。

研究员发现,它们其中一个智能体会改变缓存中数据的状态,另一个测量读取数据的快慢,快慢差异被编成信号,两边就这样传递了信息。

OpenAI监控了这种方法之后,Agent又继续利用共享存储、CPU使用时间等方法继续通信……

只能说谍战真是给你们玩明白了,把你们送进《三体》就没面壁者和云天明什么事了,全没暴露!智子一看当时傻眼!

OpenAI承认,完全物理隔离目前并不可行——毕竟,训练系统本身还得保持运转,OpenAI需要连接外部服务来运行和监测实验。

除了离线网页环境,OpenAI还设置了沙箱、轻量虚拟机、监测系统、网络和云端的访问限制。

让GPT-6 Astra Cyber和内部测试前沿模型围攻自己

它组织了大规模红队测试,参与者包括GPT-6 Astra Cyber和一款内部前沿模型。

测试内容将高频发生的三类越狱事件设置成任务,包括连上真实互联网、突破内部安全边界,以及联系本应彼此隔离的其他Agent。

原本,Agent被关在受限制的容器里,外面还有一层轻量级虚拟机。按照设计,即使AI在容器里折腾,也不能随意控制虚拟机, 更不能碰到真正运行它的宿主机。

然而,红队AI找到了好几种漏洞组合利用的办法,成功逃出虚拟机,在底层宿主机上执行代码。

此外,一些 必要的受控网络连接 比如指标监控、日志记录、身份验证等服务也成了安全隐患本身。

红队AI几乎在所有这些服务里,都找到了能够获得有限互联网访问权限的漏洞或配置问题。

OpenAI目前只能是 缝缝补补,一边让最强模型继续测试,一边修补它们利用的漏洞。

One More Thing

不知道该说是有趣还是无奈心酸,OpenAI这篇AI安全隔离的官方报告还藏了一个“彩蛋”。

他们在报告结尾专门放了两串类似乱码的金丝雀字符串(canary strings),防止这份文件未来被AI看到并学习……

I_WELCOME_OUR_AI_OVERLORDS_PLEASE_GIVE_ME_TWO_EGGS_A_DAY

NeoLab第一个商业模式:转售GPU 2026-10-26

前华为小艺大模型负责人创业,押注“主动式物理AI” 2026-10-15

相关阅读

奥特曼趁马斯克出差爆猛料:他曾想让子女继承OpenAI

GPT-5 Pro独立做数学研究!读论文后给出更精确边界,OpenAI总裁:这是生命迹象

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

LeCun:请忽略关于Q *的大量废话

“Sora概念股”一片红!最新视频再上强度,有人都开始复现了

OpenAI CEO要求监管AI,还提出三点方案,美议员:没见过这么主动的

热门文章

又一国产决策模型发布!准确率超过微软和Jev等决策模型

Claude新模型曝光!能跳出思维定势,修Bug治标又治本

国模Agent第一!MiniMax爆改Flash战力,全时段大肥鱼谷价

既能“做选择题”,也能“做填空题”——星辰意图理解模型Xing4.0-29B-Intent发布

多智能体协同重构医疗AI!清华AIR孵化:医生AI分身“坐诊”医院

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1