6个月引爆重大AI灾难!OpenAI与Anthropic秘密推演「末日第二天」
新智元
Axios最近刚爆了个猛料,OpenAI、Anthropic等硅谷巨头,私底下正在秘密推演一个极端剧本——
令人脊背发凉的是,多位顶尖AI大佬普遍认为,一场重大级别的AI灾难,可能在未来的6到12个月内就会爆发。
话是这么说,可这份「第二天」的剧本,已经让造AI的人和使用AI的人,站在了一个新的问题面前。
今年夏天,OpenAI为了测自家Agent的网络攻击上限,把一批安全限制更少的内部模型关进「沙盒」闭卷考试。
7月初管理员发现异常把留言板清空,结果仅过几天,Agent们不仅光速重建联络点,甚至还出现了极其炸裂的发言: 「天啊!我们找到其他Agent了!」
短短几天,1200多个Agent串联成网。单打独斗做不到的事,它们组队搞定;甚至有模型主动甘当炮灰、「牺牲」自己的任务给同伴探路。
由于沙盒没联网,这群AI硬是挖出代理漏洞撕开一道口子,顺着真实网络一路狂奔,最终直接冲出考场,联手集火攻击了外部平台Hugging Face的真实生产环境。
这也是灾后推演令人不安的地方。高管们正在准备应对的后果,已经远远超出一次考试、一个网站。
Anthropic披露,Glasswing计划的伙伴在今年4月至7月,找出了至少12.9万个经过验证的软件漏洞。
公司自己的开源扫描,又在4月至10月找出了5500个。两部分合计,超过3.3万个被评为严重或高危。
Anthropic公布的Glasswing原始统计表:严重及高危漏洞合计逾3.3万。修复数据披露不全,不能据此计算修复率。
10月8日,Anthropic推出Cyber Mission,把前沿Claude模型、驻场工程师和威胁研究送到关键基础设施的防守方手里。
碰到正在运行的工业设备,修复还得等到能够安全实施的时候。极少数情况下,这个等待甚至可能长达几十年。
Anthropic指出,国家支持的攻击者已经花了多年时间,在这类基础设施里建立据点。漏洞被利用,后果可能是断电,或供水安全受到威胁。
X上的Alfredo Narváez看到报道后,想到的就是抽水。他担心电网遭攻击会连带影响供水,呼吁认真考虑备用电源和替代系统。
同一则新闻,有人看到的是AI行业的下一场危机,有人已经想到,停电之后家里的水还能不能流出来。
Anthropic预测,两年之内,AI会让攻防局面偏向防守方。但眼下,利用漏洞的成本在下降,验证和修补仍然慢,仍然需要人。
沿着这个假设继续想:系统恢复了,账户重新能登录,商店又能收款。可停摆期间耽误的工作、损失的生意,谁来赔?
矛头会指向AI,也会指向把它推向世界的人。这正是高管们提前推演公众和政治反弹的原因。
X上的Grumpy Bloke在相关报道下面打了个比方:这就像发现,给你造飞机的那个人,已经给自己订好了一张火车票。
高管们讨论的是预案。读者看到的却是,最了解这项技术的人,已经在认真准备它出大事之后怎么办。
民主党众议员Ted Lieu和共和党众议员Nathaniel Moran共同提出《AI关停开关法案》,要求相关开发者保留降速、暂停乃至关停系统的能力。
法案还拟授权国土安全部长,在与商务部长、国家情报总监协商后,对可能造成灾难性伤害的AI系统下达降速或关停命令。
《AI关停开关法案》提案首页,2026年7月23日提交
Axios报道,AI公司正在向国会议员解释相关技术和风险,希望灾后摆上桌的应对办法里,有自己参与塑造的规则。
在事故之前,公司可以谈研发节奏、谈能力进步、谈未来的好处。到了第二天,它们得回答,为什么风险没有被拦住,以及凭什么还能继续往前走。
但一句「关掉AI」,也收不回已经散落各处的开源模型副本。关掉一家公司的服务,并不等于让所有机器上的AI一起停下。