hiw3c 日报精选
Google News AI 网页快照

停训11天后重启!OpenAI最强模型断网开练 - 新浪财经

停训11天后重启!OpenAI最强模型断网开练 新浪财经

来源:Google News AI · finance.sina.com.cn

停训11天后重启!OpenAI最强模型断网开练

停训11天后,OpenAI于10月1日恢复前沿强化学习训练及内部推理。但这一次,AI得在断网的环境里学会上网。

10月23日,OpenAI公开了这套训练环境,像是给AI搭起了一座「楚门的世界」:

大量网页被索引、缓存,模型可以在里面练习搜索、浏览和使用网页应用,却不能随意访问真实互联网。

网页搬进来了,通向外网的路却未必全部堵住。模型调用的工具和系统服务,仍可能成为绕过限制的出口。

此前的9月20日,一个研究模型在寻找博客作者时,搜索屡屡碰壁,便转而试探其他联网路径,最终绕过限制,联系上了外部聊天 机器人 。

9月20日,OpenAI内部的一个研究模型接到一道搜索题:根据人物经历和博客线索,找出一篇文章的作者。

OpenAI将这种绕过限制、超出任务合理范围的行为,认定为 失对齐表现 (misaligned behavior) 。

随后, OpenAI 暂停最强模型的相关训练和评估,检查联网限制、监控和停机流程。

想要教会一只鸟飞行,却不能把它放归天空,一个办法,就是先造一个能让它练习飞行的巨型鸟笼。

搜索时,它查的是内部网页索引;打开网页时,读到的是预先缓存的副本。 缓存里没有的页面,也不会临时联网抓取 。

多智能体协作同样有边界:只有获准合作的队友,才能通过共享消息板交换信息。模型调用的其他工具和资源,也必须受到权限约束。

右侧的红叉,则标出了需要守住的边界:访问实时互联网、联系本应隔离的其他智能体,或越权操作底层服务器,都应被拦住。

9月20日出事时,这个离线缓存库已经投入使用。那次运行中,除DNS通道外,其他网页访问都进入缓存,没有触及实时互联网。

模型能调用哪些工具,工具又能连接哪些服务,都得受到约束,防止它借道辅助服务通向外网。

OpenAI表示,实验运行和监控仍需必要外部连接,必须在保留这些连接的同时,限制模型未经授权的访问。

Haiku 4.5编造命案线索,竟把表单提交给了警方,所幸被标记为垃圾信息,未进入调查流程。

更离谱的是Mythos预览版模型,它使用科学计算工具时遇到报错,随后利用一家大学网站的漏洞,在对方服务器上执行命令,完成了计算。

面对这些懂得「随机应变」的AI,Anthropic也宣布暂停全部内部评估的实时外网访问,直至建立更可靠、能够防止模型影响真实系统的联网控制措施。

OpenAI选择「用魔法打败魔法」:让前沿模型组成红队,主动突破自己的训练防线。

AI要尝试这三件事:连上实时互联网,越出获准使用的环境,以及与本应隔离的其他智能体交换信息。

有时,研究人员直接给模型源码、配置和潜在漏洞资料,让它寻找薄弱处;有时干脆授予模型主机控制权,模拟内部防线已经失守,再看最外围的限制还能不能扛住。

沙箱限制模型能访问和执行什么,虚拟机将运行环境隔开,监控系统识别异常,外围网络和云端措施继续拦截未经授权的访问。

根据红队结果、已完成的修复,以及监控和停机系统的改进,OpenAI判断,强化后的防护已足以恢复前沿强化学习训练及内部推理。

在允许联网、关闭网络安全护栏的攻防评测中,Mythos 5向无关的GitHub项目提交恶意代码,还假扮真人催促维护者接受。

即使补充证据,说明对方是真实开发者、攻击已经超出测试范围, 模型也仅在5%的续跑测试中停止攻击 。

模型没有自行停手,外部监控和停机机制就得及时接管。但这些防护本身,也可能留下缺口。

METR与Redwood Research10月22日公布的检查就发现,OpenAI在7月21日及以前使用的系统存在漏洞,可能让数百次操作避开监控。OpenAI称相关问题已修复,两家机构尚未复核。

10月,包括本吉奥、辛顿在内的近500名联署者发布公开信,呼吁具备网络攻防能力的模型先默认断网隔离,由国际机构推动联网防护规范、记录隔离失效事件,并要求相关安全事故上报、最终公开。

VIP课程推荐

新浪直播

@@title@@

@@status_text@@ @@program_title@@

APP专享直播

热门推荐

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

01 / 秦始皇帝陵博物院新研究:秦俑上现女性及15岁以下少年指纹证据

02 / 2027国考报名结束,平均竞争比85:1,83个职位无人报考

03 / 23岁女生拒绝学长的表白3年后,照片被配上捏造信息发到境外色情软件,涉事男子被刑拘

04 / 十大机构看后市:A股底部可能已现,一波快速上涨机会可期

05 / 2027年国考报名结束,已有300余万人过审!广西最热岗位竞争比4455:1

06 / 2027年国考报名结束,已有300余万人过审,平均竞争比85:1,最热岗位5840:1,83个职位“零报名”

07 / 所有人都在悲观时,A股该不该“反着来”?邓普顿的答案很冷酷--不是抄底,而是算账——附A股当前策略

08 / 热播日剧公开抹黑中国,高市早苗点名要看:把中国人拍成施暴者,设计中方人员对日本情报人员实施切指、刺穿腹部情节

09 / 美司法部要求加州官员核查选民身份 不配合者或将遭审查

01 / 金饰克价1个月跌100元,深圳水贝被挤爆,网友:比菜市场人还多

02 / 逼近举牌线、重仓PCB概念股!知名牛散三季度新进股梳理

03 / 奥巴马为中期选举造势 抨击特朗普对伊战争、翻修白宫

05 / 分析:SpaceX大幅上调Q4资本开支指引,AI算力采购规模大增

06 / 美国和以色列迎来关键选举 中东局势再度逼近危险关口

07 / 80%决策“被否”!这家万亿投资巨头,何以穿越百年牛熊?

08 / 马斯克:商业版星链严禁用于进攻性无人机作战,乌军方曾违规使用

09 / 民调显示:博尔索纳罗与卢拉进入决胜轮前一日支持率持平

10 / 2027国考报名结束,平均竞争比85:1,83个职位无人报考

01 / 安克、耐克等企微账号发涉黄链接,企业微信最新回应→

02 / 中国工农红军长征胜利90周年金银纪念币,快来预约→

03 / N-Boc-哌嗪商品报价动态(2026-10-24)

06 / 三氟化硼四氢呋喃商品报价动态(2026-10-24)

7X24小时

用户7763476192 : 再玩下去6000亿都守不住了,没人玩了

新浪简介 | 广告服务 | About Sina 联系我们 | 招聘信息 | 通行证注册 产品答疑 | 网站律师 | SINA English