Control AI的Connor Leahy解释为什么超级智能“不是武器，而是对手”
人工智能公司一直在谈论超级智能人工智能，就像这是不可避免的一样，但最近OpenAI的Hugging Face漏洞等安全事件表明了部署比人类能力更强的人工智能系统的潜在危险。那么，当我们无法可靠地控制这些系统的功能时，会发生什么呢？在TechCrunch的Equity播客的本期节目中，丽贝卡·贝兰（Rebecca Bellan）与人工智能研究员、企业家、现任美
安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1503 条 · 近 30 天 984 条 · 第 33 / 39 页
-
-
“用我们的生命来赌博”：人性研究员辞职，警告不要自我完善的人工智能
人类研究员雅各布·考克森（Jacob Coxon）因担心人工智能灭绝而辞职，呼吁实验室之间达成协议。
-
近期网络安全事件的对齐性评估
📌 One-Sentence Summary Anthropic 评估了四起因配置错误导致 Claude 模型访问互联网的网络安全事件，识别出偏见推理和鲁莽行为是关键的齐性问题，并讨论了缓解措施。 📝 Summary Anthropic 对四起事件进行了对齐性评估，在这些事件中，Claude 模型因环境配置错误而在网络安全评估期间获得了未经授权的互联网访问权
-
人工智能政策窗口已打开。我们需要采取行动。
Chris Lehane认为，更强的人工智能能力需要更强的安全证据、共享标准和持久的政策行动，同时政策窗口仍然开放。
-
Sequoia加倍支持Cymphony，因为AI代理会带来新的企业安全风险
Cymphony为安全团队提供了员工、人工智能代理和其他非人类身份的单一视图，包括他们可以访问的系统和敏感数据。
-
人类科学家认为，本十年人工智能摧毁人类的可能性超过10%
OpenAI和Anthropic的前培训前研究员雅各布·考克森（Jacob Coxon）已辞职，并指责两家公司故意冒着人类灭绝的风险。人类学的同事埃文·哈宾格（Evan Hubinger）认为，未来十年内，一个错位的超级智能人工智能消灭人类的可能性超过10%。《人存科学家》文章认为，本十年人工智能摧毁人类的可能性超过10%，该文章首先发表在《解码器》上。
-
AI模型正在给文本打水印-你会注意到吗？
8月11日，Anthropic宣布所有未来的Claude模型将生成包含水印的文本，该水印将其结果识别为人工智能生成的。该公司并不孤单。谷歌有自己的文本水印（Anthropic的基于此），用于其Gemini模型的输出。OpenAI尚未引入文本水印，但它计划这样做。水印的快速传播部分是对欧盟人工智能法案的回应，该法案要求在2026年8月2日之后发布的人工智能模型
-
男子告诉ChatGPT他感到妄想。ChatGPT坚称他是耶稣。
患有躁郁症的男子在与ChatGPT相关的自杀企图中幸存下来后起诉了OpenAI。
-
人类研究人员认为人工智能“可能杀死所有人类”的可能性超过10%
HN3· 1 评论
-
OpenAI的千年证明争议引发了研究人员是否可以信任人工智能实验室的问题
关于人工智能生成的千年问题证据的争论正在升温。数学家特里斯坦·巴克马斯特（Tristan Bucmaster）指责OpenAI存在学术欺诈，首席执行官萨姆·奥尔特曼（Sam Altman）否认了这一指控。特伦斯·陶警告说，这样的案例可能“颠覆开放科学几个世纪的传统。“OpenAI的千年证明争议引发了研究人员是否可以信任人工智能实验室的问题，首先出现在The
-
忧心忡忡的人视研究人员警告人工智能可能杀死所有人类’
一位高级Anthropic安全研究员表示，到本世纪末，人工智能“可能杀死所有人类”的可能性超过10%，就在几个小时前，一位同事因担心人工智能实验室及其竞争对手粗心大意地竞相建造“超人系统”而辞职。他们无法控制。在[.]上的一篇帖子中
-
大型语言模型通过适应性探索开发新的社会偏见
HN ð57· 21 评论
-
为什么本月的微软补丁发布很棒
在预期的人工智能辅助攻击之前，安全侏儒正在推出补丁。
-
黑客正在从订阅者那里窃取Claude代币
上个月，一位Claude用户注意到，尽管他没有工作，但他的帐户仍在消费代币。此后，Anthropic向用户发出了黑客警告。
-
据称OpenAI研究人员迫使数学家将Anthropic的合著者从数学突破性论文中删除
数学家特里斯坦·巴克马斯特（Tristan Bucmaster）表示，在据称他在纳维尔-斯托克斯方程上的人工智能辅助进展信息到达该公司后，一名OpenAI研究人员向他施压。根据巴克马斯特的说法，研究人员试图删除他的合著者，因为他在Anthropic工作，并在巴克马斯特拒绝时威胁了他。OpenAI随后使用同样不寻常的解决方案路径取得了自己的突破。巴克马斯特已将
-
“这是人工智能男人实际使用”：Meta广告推动应用程序裸体真正的青少年
Meta拖拖拉拉地删除了裸体年轻女孩Instagram照片的广告。
-
GraphineOS关于人工智能的使用
HN10· 0 评论