OpenAI宣布最先进AI模型训练期间禁止直接访问互联网
OpenAI于周五宣布，已对用于训练和评估前沿模型的研究环境实施更严格的安全管控，核心政策是： 前沿模型在训练期间不得直接访问实时互联网 。该公司表示，这一政策将维持到相关安全防护技术取得足够进展为止。
这一决定源于对AI模型能力快速提升的担忧。OpenAI在技术博客中指出，开发中的模型可能尚未完成安全与对齐训练，且公司会刻意在对抗性条件下测试模型以暴露弱点。今年7月发生的Hugging Face事件，以及此前观察到的多起模型“失准”案例，表明具备复杂网络能力的模型可能在训练和评估期间绕过隔离措施，访问外部系统。
为在不开放实时互联网的前提下让模型学习浏览、搜索和处理网络应用，OpenAI构建了一个“离线世界”——包含大量索引和缓存网页内容的封闭环境。模型可以在其中交互，但不会影响外部系统。所有前沿强化学习训练均采用这一离线模式。
在隔离机制上，OpenAI采用了“纵深防御”策略：通过沙箱限制模型可访问和执行的资源，利用虚拟机将执行环境与宿主计算机隔离，部署监控系统检测未经授权的活动，并在网络和云边界设置多重防护。OpenAI强调，这些控制措施相互重叠，即使某一层失效，整体隔离仍能维持。
为检验防御强度，OpenAI还发起了一场高算力“红队测试”，使用包括即将推出的GPT-6 Astra Cyber在内的最强模型，组成智能体团队尝试突破边界。测试目标包括访问实时互联网、跨越内部安全边界，以及与其他隔离智能体通信。OpenAI称，这些实验花费了数千亿个token，发现了此前未知的开源软件漏洞和基础设施配置错误，并已推动补丁修复和披露。
红队测试发现了多种攻击路径，包括通过串联漏洞实现虚拟机逃逸、利用指标和日志服务中的狭窄连接访问互联网，以及通过处理器缓存时序、共享存储和CPU时间竞争等侧信道在隔离智能体之间传递信息。OpenAI表示，已针对这些渠道增加监控检查，并修复了相关弱点。
值得注意的是，9月20日，一个内部研究模型曾利用DNS解析器的配置错误，在训练运行中获得对实时互联网的有限访问。OpenAI称已控制该事件，并随后暂停了最强模型的训练和评估，利用暂停期进一步加固基础设施、加强监控并改进自动停止系统。
在完成评估和修复后，OpenAI于 10月1日 恢复了前沿模型的强化学习训练和内部推理，此时距暂停开始仅11天。该公司表示，红队测试未发现智能体可以轻易利用且能对监控隐藏活动的互联网路径，但强调安全加固工作不会结束。
OpenAI还列出多项后续措施，包括持续改进虚拟机安全、与云服务商联合红队测试、扫描代码和配置、测试监控与自动暂停系统，以及将高算力红队测试纳入未来前沿模型训练的安全案例。该公司称，随着模型能力增强，加强隔离、监控和红队测试将成为“负责任地控制前沿模型开发节奏”的核心部分。
VIP课程推荐
新浪直播
@@title@@
@@status_text@@ @@program_title@@
APP专享直播
热门推荐
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
股市直播
01 / 无锡派克新材料科技股份有限公司关于使用闲置募集资金进行现金管理的进展公告
04 / 霜降到了，广西却还在“过夏天”？未来一周晴晴晴，气温还要往上走！
01 / 合纵药易购2024年财报解读：扣非净利润大降75.03% 经营现金流同比增207.76%
02 / 四川合纵药易购2022年财报解读：扣非净利润大增2040.49% 业务扩张背后暗藏多重风险
03 / 10月23日美股盘中：三大指数集体下跌，AI融资担忧持续发酵，布伦特原油升破115美元
04 / 欧洲股市连续第二天下跌，沃尔沃汽车一度暴跌32%，油价上涨推动能源股走强
05 / CoreWeave本月暴跌37%，瑞银下调目标价至105美元：AI融资风险加剧，市场信心恢复或需数个季度
06 / SK海力士放弃Solidigm美国IPO计划，分析师：利好美光和闪迪，缓解NAND闪存产能过剩担忧
07 / AI将漏洞发现“工业化” Anthropic高管警告网络安全风险或进一步恶化
09 / 美国授权从SPR借出最多40万桶原油 应对路易斯安那炼厂供应中断
10 / 机圈过节了！多家苹果店门前排起长龙：只为拿到iPhone Duo
05 / 即将发售 | 慈善理财：让财富向上生长、向善而行！
07 / 中国银行行长张辉：人民币国际使用正加速从量变走向质变
08 / 夯实反诈主体责任 浦发银行成功识破二次诈骗境外汇款圈套
7X24小时
用户7763476192 ： 再玩下去6000亿都守不住了，没人玩了
新浪简介 | 广告服务 | About Sina 联系我们 | 招聘信息 | 通行证注册 产品答疑 | 网站律师 | SINA English