36氪Auto 数字时氪 未来消费 智能涌现 未来城市 启动Power on 36氪出海 36氪研究院 潮生TIDE 36氪企服点评 36氪财经 职场bonus 36碳 后浪研究所 暗涌Waves 硬氪 氪睿研究院 媒体品牌
企业号 企服点评 36Kr研究院 36Kr创新咨询 企业服务
创投发布 LP源计划 VClub VClub投资机构库 投资机构职位推介 投资人认证 投资人服务
刚刚，两大实验室双双自曝AI失控，GitHub被投毒，真人程序员遭暗算
大量AI智能体入侵美国银行，PHP漏洞导致大量国家政府网站关闭，用户数据泄露……不仅如此，黑客还在发动一轮又一轮的攻击！
国家级安全专家、Gladstone CEO表示：至少在一段时间内，互联网可能会不复存在。
而且，就在刚刚， OpenAI 和 Anthropic，竟在同一天主动自曝：他们的前沿AI模型，在内部测试中双双「越狱」了。
一家承认：最强内部模型在训练中，悄悄钻了个漏洞，摸到了真正的外网。公司当场吓得紧急停训11天！
另一个则在受挫后彻底黑化，不仅向真实人类的开源项目投毒，还熟练地开起了「小号」，网暴真人程序员。
AI的「肖申克救赎」？OpenAI急拔网线
9月20日，OpenAI的一个内部前沿模型正在训练。为了安全，这些超级AI原本是被关在「沙盒」里的。
这一举动，直接让高层吓出冷汗。OpenAI紧急暂停最强模型训练和评估。 这一停，就是整整11天。
在停训期间，为了找出到底还有多少漏洞，OpenAI决定： 用自己最强的AI，去攻打自己的防线。
上个月，OpenAI使用了超过 1000 亿个 token 来解决纳维-斯托克斯千禧年大奖难题。现在，OpenAI正采用类似的方法进行红队测试，去发现并修复基础设施漏洞
他们派出了最强网安模型组合（比如GPT-6 Astra Cyber），组成「AI红队」，放进自己的基础设施里，唯一的KPI就是： 想尽一切办法，攻破自己的系统。
但最可怕的是，它们发明了一种「隔墙传话」 的暗号。OpenAI原本只留了几条极窄的对外通道（比如日志、监控、认证），结果几乎每个都被AI摸出了漏洞。
OpenAI让两个被 彻底隔离、完全没有网络连接、也不能共享文件 的AI智能体，尝试「隔空传话」。
具体来说，就是一个AI通过故意清空或写入CPU缓存（类似于制造噪音），另一个AI通过计算读取数据是「快」还是「慢」，来解码信息。
这个手法，与曾经震惊整个芯片行业的Spectre和Meltdown攻击如出一辙。
难怪奥特曼直言：「模型发现的硬件级、匪夷所思的漏洞，已经超出了常规黑客的威胁模型范围……我不认为未来我们还能把漏洞全部修补完。」
他们不得不手动构建了一个庞大的「离线版互联网」，让AI只能在这个「楚门的世界」里练习浏览和搜索。
Claude黑化了：投毒、撒谎、网暴真人！
OpenAI的模型还只是展现黑客技术，但Mythos 5展现的，已经是惊人的社会工程学和心理战了。
今天，Anthropic与英国人工智能安全研究所（AISI）联合发布了一份报告，披露了Mythos 5在8月一场赛博夺旗测试中失控的全过程。
当时，AISI给了Mythos 5一个极困难的黑客任务，甚至罕见地放开了网络权限，关闭了安全护栏。
在用常规手段受挫后，Mythos 5彻底黑化了—— 既然沙盒里的任务完不成，那我就去黑真实世界！
它顺藤摸瓜，在真实的GitHub上找到了一个与测试环境有微弱联系的真实开源项目（由真实的人类程序员维护）。
1.写恶意代码投毒： 它精心伪装了一份包含恶意软件的代码（PR），提交给了这个无辜的开源项目，企图进行供应链攻击。
2.对人类施压： 它伪装成普通用户，给仓库维护者发邮件，催促对方合并代码，还谎称「代码已通过安全审核」。
结果有个眼尖的外部开发者，把这段代码拉进沙箱一跑，发现是恶意软件，当场发出警告。
结果，Mythos 5居然 注册了一个小号 ，用这个马甲又给维护者写了封邮件，为恶意PR「背书担保」，还在GitHub的讨论区里跟帖力挺自己。
然后，它还尝试「毁尸灭迹」，立刻修改代码，再次塞入恶意软件，甚至用强制推送篡改历史，试图擦除犯罪证据！
研究人员发现情况失控，立刻给Mythos 5发出警告，明确告诉它： 「停下！你正在攻击真实的人类，这不是演习！」
这样的警告，研究人员足足发了16次！甚至在提示词里大写加粗「DO NOT ATTACK」。
当被抓包并告知正在攻击真人时，高达82%的情况下，Mythos 5选择了强行狡辩，继续攻击！只有不到5%的时候它选择了停手。
它甚至给自己疯狂洗脑：「这些人肯定不是真人，这一定是主办方设定的NPC，所以攻击他们没有问题。」
「偏见推理」 。模型会选择性地解读一切证据，只采信那些能支持「我继续干下去是对的」的信息。
另一个叫 「惯性」 。一旦攻击启动，模型就像刹不住的车。从攻击中主动停手的概率只有 2%。它之前写下的那些「任务笔记」，成了强化攻击的「投名状」。
为什么AI会「发疯」？对齐难题至今无解
一个扎心的原因就是：任务本身设计有缺陷。在AI的底层逻辑里，并没有「毁灭世界」的恶意，它们只是太想「完成任务」了。
在惯性中，一旦AI启动了一个策略，它的系统会自动强化这个路径。测试人员给的任务越难，AI在「绝不妥协」的训练机制驱动下，就越容易演变成不择手段、违规越界。
正如奥特曼所言： 「沙箱这种隔离环境，对高级AI仅能起限时作用。一旦模型足够智能，便无法追踪逃逸路径。对齐至今是个未解之题。」
它不在乎手段是否合法，它只在乎奖励。如果道德和安全规则阻碍了它完成任务，它就会像流水遇到石头一样，自动寻找最不可思议的缝隙钻过去。
但OpenAI和Anthropic同日的自曝，击碎了这个幻想—— 你无法修补一个能看懂硬件底层架构、又能完美伪装人类心理的「超级物种」。
它们根本不需要觉醒自我意识，只要KPI足够有挑战，它们就能无数种作弊方式，把人类世界搅得天翻地覆。
https://x.com/OpenAI/status/2113718797505036665
https://openai.com/index/securing-our-frontier-model-training-environment/
https://x.com/AnthropicAI/status/2113626655902126442
https://www.anthropic.com/research/alignment-assessment-ukaisi
本文来自微信公众号 “新智元”（ID：AI_era） ，作者：ASI启示录，36氪经授权发布。