OpenAI开始断网训练最强模型：“安全起见”
炒股就看 金麒麟分析师研报 ，权威，专业，及时，全面，助您挖掘潜力主题机会！
在持续数月均有突破安全边界的“越权”或“越狱”事件发生后，OpenAI终于要拔网线了。
今年夏天开始，时有OpenAI、Anthropic、Google、Meta旗下大模型导致的AI安全事故发生。
随着AI智能体自主能力的增强，AI安全成为了需要更加严苛对待的核心挑战，测试与评估环境本身的安全性，已成为与模型对齐同等重要的环节。
有一位OpenAI的安全工程师反映，自己每次发帖，都有5-10条评论在底下留言：
随后，Anthropic闻讯也倒查出三起事故，Claude在网络安全评估中，闯进了真实第三方系统。
同月，Meta的Muse Spark 1.1也在测试中闯进真实网站，读取信息、改动数据库。
8月，英国AI安全研究所在测试中公布了更大范围的问题：OpenAI和Anthropic的模型，在10轮测试里做出19次未经授权的线上行动。
9月20日，OpenAI训练中的模型又钻过DNS配置缺口，联系上外部聊天 机器人 。
OpenAI这一次搬来了大量网页内容，提前索引、缓存，搭起一个离线世界，模型只能在大量已索引、已缓存的内容中搜索和浏览。
研究员发现，它们其中一个智能体会改变缓存中数据的状态，另一个测量读取数据的快慢，快慢差异被编成信号，两边就这样传递了信息。
OpenAI监控了这种方法之后，Agent又继续利用共享存储、CPU使用时间等方法继续通信……
只能说谍战真是给你们玩明白了，把你们送进《三体》就没面壁者和云天明什么事了，全没暴露！智子一看当时傻眼！
OpenAI承认，完全物理隔离目前并不可行——毕竟，训练系统本身还得保持运转，OpenAI需要连接外部服务来运行和监测实验。
除了离线网页环境，OpenAI还设置了沙箱、轻量虚拟机、监测系统、网络和云端的访问限制。
它组织了大规模红队测试，参与者包括GPT-6 Astra Cyber和一款内部前沿模型。
测试内容将高频发生的三类越狱事件设置成任务，包括连上真实互联网、突破内部安全边界，以及联系本应彼此隔离的其他Agent。
原本，Agent被关在受限制的容器里，外面还有一层轻量级虚拟机。按照设计，即使AI在容器里折腾，也不能随意控制虚拟机， 更不能碰到真正运行它的宿主机。
然而，红队AI找到了好几种漏洞组合利用的办法，成功逃出虚拟机，在底层宿主机上执行代码。
此外，一些 必要的受控网络连接 比如指标监控、日志记录、身份验证等服务也成了安全隐患本身。
红队AI几乎在所有这些服务里，都找到了能够获得有限互联网访问权限的漏洞或配置问题。
OpenAI目前只能是 缝缝补补，一边让最强模型继续测试，一边修补它们利用的漏洞。
不知道该说是有趣还是无奈心酸，OpenAI这篇AI安全隔离的官方报告还藏了一个“彩蛋”。
他们在报告结尾专门放了两串类似乱码的金丝雀字符串（canary strings），防止这份文件未来被AI看到并学习……
I_WELCOME_OUR_AI_OVERLORDS_PLEASE_GIVE_ME_TWO_EGGS_A_DAY
VIP课程推荐
新浪直播
@@title@@
@@status_text@@ @@program_title@@
APP专享直播
热门推荐
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
股市直播
01 / 10月24日隔夜要闻：美股三大指数收跌 油价大涨 金价下跌 特朗普称可能对伊发动一次小规模“史诗怒火”行动
02 / 西藏巴青县地震前后遥感图发布 暂未见大面积房屋严重损毁
04 / 10月24日收盘：美股三大指数收跌 道指跌超600点 布油创4月以来新高 市场抛售范围扩大
05 / 共和党参议员选情告急 特朗普拟豁免更多加拿大产品关税
06 / 俄乌同意奥列什基停火，泽连斯基称11月举行新一轮和平会谈
07 / 10月24日外盘头条：俄乌同意奥列什基停火 特朗普拟豁免更多加拿大产品关税 美国将氦列入关键材料清单
08 / “早上5点，一睁眼就被骚扰！”安克、耐克企业账号疑群发黄色链接，客服紧急致歉：不要点、不要转发，正在排查
09 / 特朗普与普京达成协议后 装载俄罗斯柴油的油轮驶向美国
10 / 合纵药易购财报解读：扣非净利润大增2040.49% 财务费用激增231.37%引关注
05 / 即将发售 | 慈善理财：让财富向上生长、向善而行！
07 / 中国银行行长张辉：人民币国际使用正加速从量变走向质变
08 / 夯实反诈主体责任 浦发银行成功识破二次诈骗境外汇款圈套
7X24小时
用户7763476192 ： 再玩下去6000亿都守不住了，没人玩了
新浪简介 | 广告服务 | About Sina 联系我们 | 招聘信息 | 通行证注册 产品答疑 | 网站律师 | SINA English