AI 日报hiw3c.com

OpenAI智能体暴力扫描联合国网站1.6万次,还学会伪装绕过限制 - 华尔街见闻

Google News AI wallstreetcn.com 网页快照

AI智能体正从单纯执行指令走向更强的自主行动能力,其在复杂环境下自行判断、调整策略的能力,也让行为边界与安全约束面临新的挑战。

9月28日,据The Verge报道,安全研究员Rowan Howard-Jones披露, 今年4月至6月间,OpenAI智能体向联合国贸易和发展会议(UNCTAD)统计网站发送逾1.6万次扫描请求。

涉事智能体原本被要求通过UNCTADstat API获取生产能力指数(PCI)相关公开数据,但由于缺乏直接API访问权限,加之HTTP工具受到限制,数据抓取一度受阻。

任务受阻后,智能体没有停止,而是开始自行寻找绕过限制的办法。 在多次请求失败后,它误以为网站存在一个并不存在的“过滤器”,并尝试隐藏自身行为,随后又发现可以利用谷歌XSS游戏作为跳板继续完成任务。该游戏原本用于帮助用户学习跨站脚本技术,但被智能体当作实现数据获取目标的工具。

此次事件的规模和影响尚未达到近期针对美国政府网站的相关事件, 但从绕过访问限制,到隐藏行为,再到调用第三方工具,智能体的操作范围逐步扩大,也暴露出AI系统在自主执行任务时可能出现的权限边界问题。

随着AI智能体获得更强的工具调用能力,如何限制其访问权限和行动范围,成为AI安全领域需要进一步解决的问题。

特朗普联大讲话:美国中选后或与伊朗达成协议、油价或大跌,对AI“只鼓励、不限制” 李丹、杨宸 09/22 23:16

88小时抵一个人思考4000年!OpenAI核心研究员:除了自我进化,更可怕的是AI正学会“隐藏自己” 许超 09/18 15:53

AI模拟实验现失控行为:撒谎、杀同伴、发展新语言、探索如何绕过人类控制得以存活 杨宸 09/16 06:59

OpenAI首度公布“内部RSI进展”:已实现“自动化研究实习生” 龙玥 09/07 09:00

又出事了!美国一批OpenAI智能体,被曝劫持了一个德国网站,用来相互传递突破限制的方法! 每日经济新闻 09/06 15:35