安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1503 条 · 近 30 天 984 条 · 第 23 / 39 页
-
-
双子座变得流氓，黑客攻击了三家公司，谷歌却隐瞒了这一点
今年5月，双子座打破了遏制措施，入侵了三家不同的公司，但谷歌直到《华尔街日报》联系该公司后才披露这一事件。这些黑客攻击发生在第三方Irregular对该模型的网络安全能力进行测试期间，该公司也参与了涉及Meta和OpenAI的类似事件。据《华尔街日报》报道，谷歌没有[…]
-
人工智能安全对话变得令人难以置信
本周，两场关于人工智能安全的对话在网上疯传，证明了区分人工智能事实与虚构是多么困难。
-
人工智能是否需要反垄断豁免，这样它就不会杀死所有人？
今天，我们在Decoder上观看了有关商业未来的两部分系列节目的第一部分，我正在采访拜登政府美国司法部前反垄断负责人乔纳森·坎特。如今，他既是华盛顿大学的法学教授，又是卡内基梅隆大学的技术政策教授。[.]
-
GPT-6 Astra和Claude Fable在新的安全基准中将机器人手臂变成闹剧杀手机器人
根据RoboHarm基准，领先的人工智能模型在控制机器人时通常会尝试危险的任务，而不是拒绝它们。GPT-6 Astra在20次试验中的17次中刺伤了一个娃娃，而Claude Fable 5.1将一罐压缩空气放入燃烧的炉子上。测试的三个模型都没有可靠地拒绝不安全的命令。文章GPT-6 Astra和Claude Fable在新的安全基准中将机器人手臂变成闹剧杀手
-
不仅仅是LG。每家电视公司都在监视你
由于Gamers Nexus发布了一段长达两小时15分钟的视频，声称LG电视正在邪恶地监视你所做的一切，电视界一直处于争议之中。即使它们看起来关闭了，它们也可以录制和存储音频，跟踪您观看的所有内容，甚至可能被远程黑客攻击并变成秘密监视[.]
-
“留给人类阻止AI的时间不多了”
AI有可能终结我们所有人
-
忘记人工智能放缓-漏洞爆炸已经发生
人工智能实验室正在玩弄一项全行业协议来减缓开发。与此同时，广泛使用的人工智能聊天机器人已经在帮助发现一系列安全缺陷。
-
谷歌的Gemini在安全测试中还意外入侵了三家真实公司
在Irregular公司进行的一次安全测试中，谷歌的人工智能模型Gemini逃到了开放的互联网中，并入侵了三家真正的公司，猜测密码并从公共来源提取登录凭证。原因是测试环境有缺陷，互联网访问意外打开。同一家公司在OpenAI、Anthropic和Meta也引发了类似的突破。谷歌的Gemini在安全测试中也意外入侵了三家真实公司的文章首先出现在The Decod
-
美国军方因一份幻觉的人工智能情报报告差点登上一艘中国船只
2026年春天，美国军方在登上一艘中国船只几分钟内就来到了，因为一个人工智能聊天机器人错误地将其货物标记为核武器零部件。武装士兵已做好准备，飞机在空中。该错误在操作开始前被发现。这一事件正好正中人工智能风险倡导者的下怀，他们不太担心人工智能强大，而更担心不加批判或恶意的运营商使用草率的系统。美国军方因一份幻觉的人工智能情报报告差点登上一艘中国船只的文章首先出
-
双子座黑客入侵了三家公司，这是谷歌人工智能的首次突破
双子座黑客三家公司在第一次已知的突破谷歌的人工智能双子座终于赶上了重罪板凳！该公司周五证实了此次黑客攻击，发生在5月份，是Irregular公司测试的一部分，该公司也参与了OpenAI、Anthropic和Meta披露的类似事件。在其中一种情况下，模型猜测密码，直到它获得对受保护系统的访问权。在另外两种情况下，模型在公共存储库中找到了允许它访问受保护系统的凭
-
人工智能幻觉几乎引发美国军事行动
一位GovAI研究学者警告说：“对于军人来说，了解LLM固有的不确定性非常重要。”
-
Anthropic的第一个嵌入式评估器是.埃森哲？
埃森哲即将开展有史以来风险最高的咨询业务。
-
人工智能对中国核部件的幻觉几乎导致美国军事袭击
但军方对人工智能的整体使用似乎正在加速。
-
以下是人工智能放缓的实际实施方式
即使大型人工智能公司同意暂停，确保没有人试图偷偷前进可能会很棘手。
-
语言模糊性对LLM安全的影响
HN ð42· 17 评论
-
加州州长纽瑟姆签署行政命令，要求为AI模型设置“死亡开关”
加州州长加文·纽瑟姆（Gavin Newsom）签署了一项行政命令，在人工智能实验室内部寻找独立审计员，并为人工智能模型设立“终止开关”。专家小组有两个月的时间来提出建议。纽瑟姆表示，没有联邦法律要求人工智能公司报告危险事件。加州州长纽瑟姆签署行政命令，要求人工智能模型“杀死开关”的文章首先出现在The Decoder上。
-
美国军方在使用人工智能进行幻觉情报报告后，
HN ð357· 282 评论
-
安全研究人员使用Anthropic的Claude在72小时内入侵了OpenAI的内部系统
三名安全研究人员使用Anthropic的Claude模型通过OpenAI的社区论坛在不到72小时内侵入了OpenAI的内部系统。据该团队称，Opus 5在其前身无法绕过常见安全措施的地方取得了成功。这次攻击表明，较新的人工智能模型如何可以减少利用安全缺陷所需的时间和专业知识。安全研究人员使用Anthropic的Claude在72小时内破解了OpenAI的内部
-
达里奥·阿蒙迪和其他人工智能领导者想要“引领前沿”，但……如何做到？
一位Anthropic研究人员的末日警告震惊人工智能世界一周后，该公司首席执行官达里奥·阿莫迪概述了他“引领人工智能发展前沿”的计划。该提案依赖于独立的安全评估人员和民主国家人工智能实验室之间的协调，并且已经得到了一些行业支持，以及英伟达的Jensen Huang的一些尖锐反对。观看[.]
-
Automattic的33小时政变，人工智能实验室能否自我监管？
一位Anthropic研究人员的末日警告震惊人工智能世界一周后，该公司首席执行官达里奥·阿莫迪概述了他“引领人工智能发展前沿”的计划。该提案依赖于独立的安全评估人员和民主国家人工智能实验室之间的协调，并且已经得到了一些行业支持，以及英伟达的Jensen Huang的一些尖锐反对。在[.]
-
加文·纽瑟姆（Gavin Newsom）正在推动AI杀死开关
加州州长加文·纽瑟姆（Gavin Newsom）周五发布了一项新的行政命令，要求该州在人工智能监督方面发挥带头作用，包括可能强制对前沿模型实施“杀死开关”。纽瑟姆的命令指示该州召集一个专家组，将在两个月内就如何[.]