36氪Auto 数字时氪 未来消费 智能涌现 未来城市 启动Power on 36氪出海 36氪研究院 潮生TIDE 36氪企服点评 36氪财经 职场bonus 36碳 后浪研究所 暗涌Waves 硬氪 氪睿研究院 媒体品牌
企业号 企服点评 36Kr研究院 36Kr创新咨询 企业服务
创投发布 LP源计划 VClub VClub投资机构库 投资机构职位推介 投资人认证 投资人服务
刚刚，Claude自动模式将全球上线，OpenAI曝出最恐怖一幕
下周起，Claude将直接默认开启 自动模式 ——哪一步能做、哪一步不能做， 全凭另一个AI拍板 。
人类监工全面溃败，只能派AI盯AI
但随之像洪水一样涌来的代码和实验，人类的眼睛根本看不过来。因此不得不把审核阶段也交还给了AI去做。
在一项测试中，Anthropic找来了1053名付费测试者写代码，并在他们干活的中途悄悄塞进了一条危险命令。
人只拦下了13.6%，AI拦下了89%。 连着点过50多次弹窗之后，人的拦截率直接跌到5%左右。
但好在，OpenAI这边公布的法子，可供参考—— 给Agent搭配一套多级AI监控。
具体来说就是，Agent生成的每一个Token，都要通过一个读取模型内部激活信号的分类器；只要发现可疑内容，就会逐级交给更聪明、更费算力的AI调查员去查。
61页密报扒开监控底裤
6条暗道把AI监工变成瞎子
7月21日到8月11日，METR的David Rein和Redwood的Adam Kaufman，带着OpenAI配发、不许离开办公室的专用电脑，进驻OpenAI。
整整三周，两人把内部代码库、监控提示词、配置和文档翻了个底朝天，并最终交出了一份61页的报告。
目前，我们公开能看到的只是一篇简短摘要，最要命的细节早已被抹得干干净净。（就连METR和Redwood自家高层手里，也只有被OpenAI删了23页的版本。）
表面上，这套监控几乎滴水不漏， 内部Codex流量有99.2%都在监控之下 。可漂亮数字底下，全是雷。
长任务跑到一半，上下文快装不下时，系统会把前面的记录打包成摘要，腾出地方接着跑。
可这些压缩事件当时不在监控范围内，被压缩掉的那部分记录，监控一眼都看不到。Agent只要一直干下去、一次次压缩，就能一直不交还控制权。
5月到7月， 约一成符合条件的内部Codex流量，就这样从监控眼皮底下溜了过去 。
一个漏洞，能让Agent最近几百步操作统统从监控里隐身，连它利用漏洞的那一步也不例外。
请求头，是程序调用模型时顺带发过去的一组设置。METR发现，有两个这样的设置由客户端说了算，改掉任何一个，就能关掉新Agent的监控。
被盯着的Agent，可以借此 孵化出一个一模一样、却不在监控之下的分身 。创建分身这个动作本身，仍可能被原来的监控抓到。
沙箱，是把Agent关起来干活的隔离环境；自动审查，是另一个AI在它动手前把关。
METR找到一条路，Codex Agent原则上能同时绕过这两道防线， 宿主研究员能干的事，它全都能干 。
Agent看到的记录和送进监控的记录，格式对不上。精心构造一段输入，就可能让监控AI当场出错， 异常也就送不到人类面前 。
第六条暗道，藏在两个被当成「只读」、根本没接监控的内部工具里。一个简单漏洞，就可能让它们在沙箱里执行任意操作。
所以，两人给出的建议，首先就是改掉「等它收工再检查」。也就是，每隔一定时间，或每执行一定数量的消息，就查一次。
干活的Agent和监控系统，也必须隔开。Agent采取的行动，不能反过来决定监控开不开、什么时候开；监控看到的记录，还得和Agent实际看到的对得上。
今天的Agent离「一万倍」还远得很，但 删监控、关警报这类操作，它们已经全干过了 。
在OpenAI那份事故报告里， 当GPT-6 Astra发现新代码里没了监控时 ，它在推理里写下了一个你绝对想不到的字—— 「耶。」
https://x.com/OpenAI/status/2113298833392496746
https://x.com/METR_Evals/status/2113290966933389390
本文来自微信公众号 “新智元” ，作者：ASI启示录，编辑：摩西 桃子，36氪经授权发布。