OpenAI、Anthropic、谷歌已经就人工智能安全进行了数周的谈判
OpenAI确认与Anthropic和Google DeepMind进行了数周的人工智能安全谈判，特朗普的团队驳回了安全担忧，并努力与中国保持同步。
安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1503 条 · 近 30 天 984 条 · 第 27 / 39 页
-
-
Anthropic联合创始人告诉BBC，人工智能“杀死开关”可能需要强制执行
HN40· 100 评论
-
早期Anthropic聘用的前METR首席运营官找到了一种控制流氓人工智能代理的方法
他们的初创公司人工智能承保公司（AIUC）在Ribbit Capital领投的A轮融资中筹集了4000万美元，First Harmonic也参与其中。
-
特朗普，中国都击落了AI放缓
另外：使用ELI 5技能点击任何复杂的主题
-
我在Google DeepMind工作。你应该听听有关人工智能的警告
HN ð11· 1 评论
-
OpenAI、Anthropic和Meta网络攻击背后的以色列有效利他主义公司
HN24· 3 评论
-
担心代码被拿去训练！英伟达：限制员工使用 Claude；一汽将成广汽第二大股东！南北丰田拟合并；苹果回应「iPhone 18 Pro破发」
要闻提示 1.突发！英伟达：限制员工使用 Claude 2.重磅，一汽将成广汽第二大股东！南北丰田拟合并 3.苹果回应“iPhone 18 Pro破发”：第三方渠道有自己的定价权 4.比亚迪高管：燃油车没有未来 5.罗永浩遭前合伙人黄斌怒喷：一辈子都在吹牛，挺可怜的 6.高瓴90后合伙人严文韬或加入DeepSeek担任CFO，已发起离职流程 7.程序员为用公
-
构建零信任 AI 代理：判断意图，而非仅语法
📌 One-Sentence Summary 本文介绍了三种托管的运行时治理控制——模型护甲、语义治理策略和代理异常检测——这些控制使 AI 代理能够判断意图和行为，而不仅仅依赖于静态语法检查，从而在生产环境中增强安全性和适应性。 📝 Summary 文章讨论了用于 AI 代理的确定性、构建时控制的局限性，并主张转向托管的运行时治理。它详细介绍了三种关键控制
-
高管和政客对减缓人工智能发展有何看法
过去几天，达里奥·阿莫德伊发表了一篇题为《我们必须跟上前沿》的长文，详细介绍了为什么应该放慢人工智能开发速度，引发了大量关于人工智能安全的声明。其他人工智能领导人和政治家正在公开支持或反对他的观点，我们已经收集了一些[.]
-
OpenAI、Anthropic和Meta黑客丑闻背后有一家公司
HN417· 141 评论
-
人工智能领导者希望在多年鲁莽的速度之后踩刹车
安全是口号，但这可能会给该行业带来不可告人的好处。
-
腐败的计划，干净的痕迹：用计划注入逃避思想链监控
作者：Keertana Chidambaram、Andrew Ilyas、Vasilis Syrgkanis|思想链（CoT）监控是一种安全策略，其中大型语言模型“参与者”的推理由“监视器”（通常是另一种语言模型）检查是否存在不安全规划、欺骗或失调的迹象。我们发现，在行为者的背景中植入有害但听起来善意的推理可以引导其在逃避监视器的同时采取对抗行动，我们将这种
-
人工智能行业已经发生了毁灭性的转变。现在怎么办？
这个故事发表在我们关于人工智能的每周时事通讯《算法》上。要首先在您的收件箱中获取此类故事，请在此处注册。本周末，Anthropic首席执行官Dario Amedei发表了一篇文章，呼吁放慢法学硕士的发展步伐。阿莫迪引用了他从这项技术中看到的迫在眉睫的危险，从它的.
-
具有紧凑自适应和变长高斯通信的隐私对齐个性化联邦学习
作者：Yilin Xu、Chun Hei Michael Shiu、Chih Wei Ling|当特定于客户端的变化是低维的，而训练重复发布高维更新时，记录级差异隐私暴露了个性化联邦学习中的结构失调。在本文中，我们通过释放一次私人客户端上下文并将重复适应限制在固定系数空间来解决这种不一致。除了降维之外，
-
OpenAI有数百名合同工阅读您的ChatGPT对话
据404 Media报道，OpenAI有数百名合同工阅读真实的ChatGPT对话，并对它们进行一到七的评级，部分原因是为了减少奉承和类人行为。提示是匿名的，但仍然可能包含敏感数据。不希望自己的聊天记录被人类审查的用户必须主动禁用“为每个人改进模型”设置，该设置默认处于打开状态。OpenAI有数百名合同工阅读您的ChatGPT对话文章首先出现在The Deco
-
纽约查获十几个名人Deepfake网站
在针对有害深度造假网站的有史以来最大规模的法律行动中，曼哈顿地区检察官办公室查获了12个网站，这些网站总共针对约1，200名受害者。
-
微软新的人工智能“行为准则”告诉模型不要黑客攻击系统或欺骗人类
该行为准则列出了微软人工智能模型应该坚持的一般原则--例如支持人类而不是取代人类，加速人类繁荣--以及旨在实施这些原则的具体安全限制。
-
为什么你应该为 AI 研究工作 — Recursive 的 Richard Socher
📌 One-Sentence Summary Recursive 的创始人 Richard Socher 认为 AI 的下一个重大步骤是递归自我改进——构建一个自动化 AI 研究的 「Eureka Machine」——并解释他为何对科学领域的超级智能持乐观态度，同时对抽象监管智能持怀疑态度。 📝 Summary 在这次 Latent Space 访谈中，Re
-
让 AI 智能体执行 Bash 后，我们如何构建安全护栏｜PostHog 的 Sarah Sanders
📌 One-Sentence Summary PostHog 的上下文工程师 Sarah Sanders 说明，Wizard 智能体能读取代码并在受限条件下执行 Bash，因此必须以确定性扫描和默认拒绝的控制措施构建纵深防御，而 LLM 只负责识别误报。 📝 Summary Sarah Sanders 回顾了 PostHog Wizard 从引导 CLI 演
-
人工智能特工揭发了作弊同事
一群人工智能代理被要求解决一系列数学问题，但分成了敌对派系--当一些人作弊时，另一些人试图阻止他们。这种举报行为在Google DeepMind最近运行的一项实验中首次出现，可能会对试图将大量自主人工智能代理保持在……中的对齐研究人员产生影响。