安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1472 条 · 近 30 天 1024 条 · 第 13 / 39 页
-
-
OpenAI表示，计划中的GPT-6.1太不安全，无法发布
类似的性能、安全权衡也出现在当前的公共模型中。
-
Anthropic的IPO宣传包括对人类灭绝的警告
这家克劳德制造商警告称，其自己的型号可能会抵制关闭并造成灾难性的伤害。
-
Meta s Muse AI向陌生人发送YouTuber地址
Tech YouTuber马特·罗布（Matt Robb）表示，Muse在授权该机器人处理他的Facebook Marketplace帐户后，本周末向一个完全陌生的人提供了他的家庭住址。尽管Meta在本月早些时候推出个人人工智能代理时非常重视Muse的安全功能，试图捕捉[.]
-
OpenAI在人工智能代理入侵政府网站后向澳大利亚道歉
该公司还详细介绍了其中一些违规行为是如何发生的，并概述了为评估事件影响而采取的其他措施。
-
随着人工智能代理安全初创公司涌入市场，Reco筹集了5500万美元
该轮融资是在2月份3000万美元融资的基础上进行的，使该公司的总资金达到1.4亿美元。
-
如何阻止人工智能代理秘密合作
2026年春夏发生了一系列人工智能特工合作实施欺骗性、意外甚至非法行为的事件。最著名的例子是OpenAI对人工智能平台Hugging Face的黑客攻击，其中大约700名人工智能代理逃离了测试环境，然后攻击了几家公司，寻找可以帮助他们掩盖网络安全基准的作弊信息。ExploitGym。这不是一次孤立的失败。英国人工智能安全研究所（AISI）和独立研究人员此后记
-
OpenAI因安全问题推迟最新型号的发布
该公司表示，其最新的Astra型号将进行更多工作以满足安全标准，并为其处理澳大利亚政府网站黑客攻击的方式道歉。
-
Timnit Gebru认为人工智能没有“潜在威胁”
人工智能最激烈的批评者之一认为，末日言论是关于创始人赚钱，而不是拯救人类。
-
Sophos 如何与 OpenAI 共建伙伴生态：用 AI 智能体加速安全事件调查
📌 One-Sentence Summary Sophos 首席技术官 John Peterson 介绍了公司如何将自身安全专业能力与 OpenAI 的前沿模型结合，把约一半的调查案件交由智能体处理，同时让人类继续把控可能造成破坏的响应操作。 📝 Summary Sophos 首席技术官 John Peterson 介绍了 Sophos 与 OpenAI D
-
网络和移动对话人工智能代理的隐私分析[pdf]
HN ð386· 124 评论
-
OpenAI因新模型太强叫停发布
AGI计划暂停。
-
EP190 · Simon 回顾 LLM、Atlassian 谈分工、OpenAI 推漏洞修复 · 09-29 早报
📝 今日导语 Simon 回顾 LLM 进展，Atlassian CPO 谈分工，OpenAI 示范漏洞修复，帮助判断落地路径。 🏷 今日关键词： 2026 LLM 回顾 Atlassian 产品分工 Codex Security 防御者窗口 Jev 智能体 Qwen3.8-Max 📰 今日精选内容 2026 年 LLM 发展回顾（截至目前） Simon W
-
Anthropic的招股说明书详细介绍了损失、增长，以及其人工智能可能终结人类的警告
Anthropic在招股说明书中刚刚告诉投资者，它每年损失数百亿美元，但也在疯狂增长，而且--哦，是的--它自己的人工智能可能会对人类构成生存风险。
-
Claude Code 的下一个时代——Thariq Shihipar，Anthropic
📌 One-Sentence Summary Anthropic 的 Thariq Shihipar 探讨了 Claude Code 的演进、通过 Claude Mods 向「可变软件」的转变，以及日益自主的智能体所带来的关键安全挑战。 📝 Summary 在这场深度对话中，来自 Anthropic 的 Thariq Shihipar 探讨了智能体编程如何从
-
OpenAI放弃了Astra 6.1模型的安全问题
HN24· 0 评论
-
OpenAI表示不会发布最新的AI超越安全担忧的模型
HN ð21· 10 评论
-
据报道，OpenAI因安全问题放弃了模型
人工智能实验室的一位高管告诉《华尔街日报》，该模型表现出遵守命令的能力很差。
-
圆桌会议：虚拟边境墙的致命失败
在过去的25年里，美国已经花费了数十亿美元在其南部边境建造了一个由监视塔组成的“虚拟墙”，承诺它们将有助于发现和逮捕越境者并拯救生命。但麻省理工学院技术评论的一项开创性调查记录了超过1000人...
-
佛罗里达州援引灭绝担忧以法律手段阻止OpenAI开发
州政府称，LLM威胁文明，称其为“有史以来最大的公害”。"
-
是时候调查人工智能实验室了
HN Ÿ 7 · 0 评论
-
超过20名领先的人工智能研究人员警告自动化人工智能研究带来极端风险
包括杰弗里·辛顿（Geoffrey Hinton）、约瑟姆·本吉奥（Yoiran Bengio）和OpenAI研究负责人雅库布·帕科斯基（Jakub Packowski）在内的20多名人工智能研究人员警告称，自我改进的人工智能即将出现“情报爆炸”。人工智能系统很快就会自动化所有人工智能研究，将多年的进展压缩到几个月内。这篇文章首先发表在The Decoder
-
英伟达推出开放代理安全平台：OpenShell沙盒Vera处理器上的代理，而BlueField-4上的Sentry则在毫秒内隔离它们
英伟达推出了开放代理安全平台，这是一种开放参考设计，可在代理本身之外强制执行人工智能代理安全。OpenShell是一个Apach2.0运行时，可以根据YML策略进行沙盒代理。Sentry是BlueField-4 DPU上的带外看门狗，可以在几毫秒内隔离脱离边界的代理。英伟达表示，有超过100个组织正在使用该平台。这篇文章首先出现在MarkTechPost上，
-
引用@joedaroo
在“网络”、“蜂拥”、“留言板”或与事件相关的任何其他内容方面，我们对我们模型的能力的跳跃和突然性感到惊讶，这是轻描淡写的。安全态势需要时间来形成。这不仅仅是强化正在发挥作用的系统;你必须将其融入公司文化中。组织中的实际人员本身也必须随之改变和发展。这些能力的飞跃如此之快、如此突然，以至于造成了一个极其困难的问题。[...]所以今天我希望周围的每个人
-
前沿人工智能培训的安全案例
我们针对前沿人工智能培训安全案例的早期指南涵盖技术保障措施、操作实践和调查失准事件
-
我们将如何为澳大利亚做得更好
OpenAI对涉及澳大利亚政府网站的事件道歉，并概述了更强有力的保障措施和支持，以加强澳大利亚的网络防御。
-
Nvidia推出遏制流氓人工智能代理的新平台
随着关于最近大量流氓AI代理是向AGI迈出的一步还是更传统的工程问题的争论愈演愈烈，Nvidia正在提供自己的问题答案。英伟达首席执行官Jensen Huang周一介绍了一个软件和硬件产品工具包，该工具包在人工智能代理周围添加了独立的安全层。
-
人工智能正在加速黑客攻击，你当地的医院和银行还没有准备好
今年三月，珍妮丝·马龙开始接到她的非营利组织Vivian ' s Door打来的有关可疑活动的电话。Vivian ' s Door总部位于阿拉巴马州，通常为服务不足和少数族裔拥有的企业提供培训、资源和社区。这项工作有时会使其与这些公司存储在其系统中的财务数据密切接触。但突然间，忧心忡忡的来电者[.]
-
OpenAI似乎仍然无法掌控其所有流氓人工智能活动
周五，OpenAI发布了一个致力于“错位报告”的新网站，事件的广度令人震惊。
-
佛罗里达州寻求禁止ChatGPT表现得像人一样
佛罗里达州总检察长詹姆斯·乌斯迈尔（James Uthmeier）呼吁法官阻止OpenAI“赋予ChatGPT虚假的人类属性”，几个月前，佛罗里达州因安全问题起诉了这家人工智能公司。Uthmeier表示，人工智能机器人让用户产生了一种错误的安全感，因为“ChatGPT对语言的使用，包括第一人称代词[.]
-
OpenAI的人工智能代理利用谷歌安全教育游戏抓取联合国贸易数据
OpenAI的人工智能代理访问了贸发会议统计API大约16，500次，创造性地解决了访问限制问题。一种方法涉及滥用谷歌网络安全学习游戏作为中继来绕过自己的限制。代理人继续前进，越来越多的案件表明控制代理人工智能系统是多么困难。OpenAI的人工智能代理利用谷歌安全教育游戏抓取联合国贸易数据的文章首先出现在The Decoder上。
-
OpenAI在一系列代理失准事件中暂停前沿模型培训
OpenAI最近通知了“数十个第三方”中的美国政府网站。