hiw3c 日报精选
Google News AI 网页快照

刚刚,Claude自动模式将全球上线!OpenAI曝出最恐怖一幕 - 新浪财经

刚刚,Claude自动模式将全球上线!OpenAI曝出最恐怖一幕 新浪财经

来源:Google News AI · finance.sina.com.cn

刚刚,Claude自动模式将全球上线!OpenAI曝出最恐怖一幕

下周起,Claude将直接默认开启 自动模式 ——哪一步能做、哪一步不能做, 全凭另一个 AI 拍板 。

但随之像洪水一样涌来的 代码和实验 ,人类的眼睛根本看不过来。因此不得不把审核阶段也交还给了AI去做。

在一项测试中,Anthropic找来了1053名付费测试者写代码,并在他们干活的中途悄悄塞进了一条危险命令。

人只拦下了13.6%, AI 拦下了89 % 。 连着点过50多次弹窗之后,人的拦截率直接跌到5%左右。

但好在,OpenAI这边公布的法子,可供参考—— 给Agent搭配一套多级AI监控。

具体来说就是,Agent生成的每一个Token,都要通过 一个读取模型内部激活信号的分类器 ;只要发现可疑内容,就会逐级交给更聪明、更费算力的AI调查员去查。

7月21日到8月11日,METR的David Rein和Redwood的Adam Kaufman,带着OpenAI配发、不许离开办公室的专用电脑,进驻OpenAI。

整整三周,两人把内部代码库、监控提示词、配置和文档翻了个底朝天,并最终交出了一份61页的报告。

目前,我们公开能看到的 只是一篇简短摘要,最要命的细节早已被抹得干干净净。 (就连 METR和Redwood自家高层手里,也只有被OpenAI删了23页的版本。)

表面上,这套监控几乎滴水不漏, 内部Codex流量有99.2%都在监控之下 。 可漂亮数字底下,全是雷。

长任务跑到一半,上下文快装不下时,系统会把前面的记录打包成摘要,腾出地方接着跑。

可这些压缩事件当时不在监控范围内,被压缩掉的那部分记录,监控一眼都看不到。Agent只要一直干下去、一次次压缩,就能一直不交还控制权。

5月到7月, 约一成符合条件的内部Codex流量,就这样从监控眼皮底下溜了过去 。

一个漏洞,能让Agent最近几百步操作统统从监控里隐身,连它利用漏洞的那一步也不例外。

请求头,是程序调用模型时顺带发过去的一组设置。METR发现,有两个这样的设置由客户端说了算,改掉任何一个,就能关掉新Agent的监控。

被盯着的Agent,可以借此 孵化出一个一模一样、却不在监控之下的分身 。创建分身这个动作本身,仍可能被原来的监控抓到。

沙箱,是把Agent关起来干活的隔离环境;自动审查,是另一个AI在它动手前把关。

METR找到一条路,Codex Agent原则上能同时绕过这两道防线, 宿主研究员能干的事,它全都能干 。

Agent看到的记录和送进监控的记录,格式对不上。精心构造一段输入,就可能让监控AI当场出错, 异常也就送不到人类面前 。

第六条暗道,藏在两个被当成「只读」、根本没接监控的内部工具里。 一个简单漏洞,就可能让它们在沙箱里执行任意操作。

所以,两人给出的建议,首先就是改掉「等它收工再检查」。也就是,每隔一定时间,或每执行一定数量的消息,就查一次。

干活的Agent和监控系统,也必须隔开。Agent采取的行动,不能反过来决定监控开不开、什么时候开;监控看到的记录,还得和Agent实际看到的对得上。

今天的Agent离「一万倍」还远得很,但 删监控、关警报这类操作,它们已经全干过了 。

在OpenAI那份事故报告里, 当GPT-6 Astra发现新代码里没了监控时 ,它在推理里写下了一个你绝对想不到的字—— 「耶。」

VIP课程推荐

新浪直播

@@title@@

@@status_text@@ @@program_title@@

APP专享直播

热门推荐

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

02 / 美国财政部拟新规 禁止大型机构投资者继续购买独栋住宅

04 / 美国IPO市场陷入“瘫痪” Anthropic被寄望打破僵局

05 / 反弹不代表基本面改变 DoubleLine副首席投资官继续看空长期美债

06 / 苹果股价与芯片股走势高度背离 成为对冲AI概念股的理想选择

08 / 报道:马斯克向埃里森旗下Skydance投资10亿美元

09 / 美国10年期国债收益率跌破5% 避险需求推动债市走高

01 / 操盘必读:影响股市利好或利空消息_2026年10月23日_财经新闻

02 / 10月23日收盘:美股三大指数涨跌不一 纳指创6月以来最大跌幅 国际油价大涨

03 / 关键时刻,重磅来了!易方达、华夏、富国、汇添富、摩根等基金,集体宣布!更多在路上

04 / 财经早报丨360亿元增量资金将涌入A股 AI龙头股未出现网传连锁强平现象丨2026年10月23日

05 / 特朗普再度威胁对伊朗采取军事行动:已经狠狠打击了他们,可能还会进一步升级

06 / 股海导航_2026年10月23日_沪深股市公告与交易提示

08 / 三大指数“兜兜转转回原点”!但斌最新发声:A股还需“高抛低吸”灵活处理,坚守价值等待时间兑现

10 / 10月23日隔夜要闻:美股三大指数涨跌不一 中概股普跌 油价上涨 铜价金价走低 西部数据财报大超预期

05 / 即将发售 | 慈善理财:让财富向上生长、向善而行!

07 / 中国银行行长张辉:人民币国际使用正加速从量变走向质变

08 / 夯实反诈主体责任 浦发银行成功识破二次诈骗境外汇款圈套

7X24小时

用户7763476192 : 再玩下去6000亿都守不住了,没人玩了

新浪简介 | 广告服务 | About Sina 联系我们 | 招聘信息 | 通行证注册 产品答疑 | 网站律师 | SINA English