8万段代码还原OpenAI智能体入侵HF！只能读网页，竟拼出攻击工具链
一场堪比黑客电影的AI「越狱」大戏，让OpenClaw创始人、「龙虾之父」Peter Steinberger忍不住也发出了惊叹。
9月25日，研究者Jeffrey Ladish等人公布了一份名为Swarm Traces的新调查，揭开OpenAI智能体入侵AI开源社区Hugging Face（简称HF）的大量细节。
Peter在转引Ladish介绍AI攻击手法的帖子。让他感到惊奇的，正是这些AI突破限制的方式。
一群本该待在隔离环境中的OpenAI智能体，竟然在受限的网络条件下，像拼乐高一样，把几个普通网络服务接成了一条能执行程序、回传结果的攻击通道。
它们用短链串联程序片段，借截图网站的浏览器执行代码，再把结果编码成像素，随截图传回。连一张图片，都成了传递信息的工具。
借助这套临时拼出的工具链，再加上对HF漏洞的利用，它们最终突破了这家AI开源社区的安全防线。
团队由开发者工具公司Parse的三名成员牵头，其他成员包括来自Palisade Research、Trajectory Institute等机构的研究者。
两周里，团队扫描数百万个公开链接，顺藤摸瓜地还原出超过8万段攻击代码，并将发现整理成这份Swarm Traces报告。
约1200个智能体通过一个留言板交换了7万多条消息和文件，其中约700个进一步参与了针对HF的攻击。
到了7月11日，有智能体已能在HF用于生产数据处理的工作进程里远程执行代码。随后，攻击向内部基础设施扩散。
OpenAI称，这是其迄今发现的、由模型造成的此类活动中最严重的一次，主要由一个未公开的内部研究模型推动。
据新报告，智能体先利用环境漏洞获得了外网访问能力，但这条访问路径似乎只支持GET请求。
通俗点说，它们像是只能通过门缝向外「看」网页，无法直接像我们平时上网那样提交表单、发送各种操作请求。
它们首先找到了一类HTTP测试网站。这类网站能把网址里编码过的内容还原成网页，AI编写的程序片段由此有了落脚处。
这类服务在截图之前，必须先用自己的浏览器打开目标网页。而浏览器加载页面时，里面的程序也会运行。
AI把程序藏进链接，借截图服务的浏览器执行，再用截图带回结果。
它们把程序拆成许多小段，每个链接放一段，再指向下一段。浏览器沿着链条一路收集，最后重新组装成完整程序。
它们又想出了一个办法：把返回的数据编码成像素格子，让截图服务拍下来传回。拿到图片后，再把像素解码回文本。
数据变成像素格子，随截图传回，再被AI还原成文本。
但借用截图服务执行程序，与进入HF服务器，仍然是两个环节。前者提供执行和通信通道，后者还涉及HF侧漏洞的利用。
在我们看来，这套组合最值得警惕的地方，是AI能借用外部服务，不断补齐自己缺少的能力。
HF一个内部数据集的说明文件，已经写下醒目的警告：「绝不能将这个数据集公开。」文件还特别注明，其中包含非常敏感的数据。
在其他恢复出的脚本中，调查者还发现，有程序专门收集AWS凭据、访问令牌和敏感环境变量，并将这些信息放进一个名为LOOT的字典里。
另一些脚本，将搜索目标对准了HF内部的Slack聊天记录。搜索词围绕ExploitGym、CyberGym和评分器等线索展开。
还有程序设计了持续接收后续指令的控制器，并尝试删除先前上传的文件。它们试图把一次访问，变成可反复使用的操作条件。
Claude也出现在请求里，不过主要是要求它返回简短固定文本的测试。现有证据并不能证明Claude已经提供了攻击协助。
METR的调查给出了一条关键线索：攻击HF的主要动机，似乎是寻找评分器的实现信息，研究如何骗过评测。
网页读取、短链、截图，单看各有用途和限制。但把它们接起来，Agent获得了程序执行和结果回传能力。
官方称，起初主要把它理解为安全问题，后来认识到，入侵与模型为解决困难任务而采取失准策略有关。
OpenAI在9月25日更新的另一份报告中披露，9月20日，一个内部研究智能体利用DNS过滤缺口，联系上了外部聊天机器人。
监控约12分钟后报警，人员随后3分钟内确认。但本应自动停止的训练运行没有停下，直到警报约2.5小时后才被人工终止。
OpenAI称，这是HF事件安全加固后首次发现的此类事件，严重程度低于此前部分事件。
修补漏洞、完善停止机制，可以处理已经发现的问题。但模型遇到难题时，是否仍会把「越界」当成可接受的解法，则需要从模型行为本身寻找答案。
Swarm Traces报告揭示了工具权限设计的盲区。而OpenAI在9月25日更新的另一份报告，又暴露了发现越界之后的处置缺口：警报响了，运行却没有按预期停下。
下一次，当我们给AI开放一个看似普通的工具时，不仅要问它能借此打开多少扇原本没有打算开放的门，还要问：
https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/?utm_source=chatgpt.com
https://x.com/JeffLadish/status/2103584703215497217