安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1503 条 · 近 30 天 984 条 · 第 32 / 39 页
-
-
蚂蚁陈亮：能力决定AI能做什么，可信决定社会敢把什么交给AI
随着AI从回答问题走向调用工具、连接服务、完成任务，甚至参与交易，安全正在从模型外围的一道防线，成为AI进入真实经济活动的基础设施。在外滩大会媒体群访中，蚂蚁大安全CTO陈亮表示，AI新经济能否真正走向规模化，不只取决于模型能力，更取决于人们是否敢把真实任务交给AI。 图注：蚂蚁大安全CTO陈亮 “安全不是AI规模化之后才补的课，而是AI走向规模化之前必须先
-
人工智能安全恐慌成为主流后，人类研究人员的警告降落在CNN和福克斯新闻
即将离任的《人存》研究员雅各布·考克森（Jacob Coxon）在CNN上警告说，自我完善的人工智能对人类构成了生存威胁。Anthropic和OpenAI的安全研究人员分享了他的观点，美国政界人士和乔·罗根也开始关注这个话题。但文化和经济利益也在这些警告背后发挥作用，灭绝情景仍然是一个极端且有争议的立场。在Anthropic研究员的警告出现在CNN和福克斯新
-
人类退出成为灭绝争论
另外：让您的网站更容易让人工智能找到和引用PT。2
-
Clearview AI正在测试一款人工智能工具，让警察在线挖掘你的生活
InquiryIQ是一个之前未报告的原型，它测试了Grok制造商xAI的模型，以揭示通过Clearview识别的人员的同事、社交帐户和其他信息。
-
碳硅道统：中层拟合域的现实回响 | 标尺不动，事件自行抵达
现实事件不请自来。它们不是被选来分析的，是自己撞上来的。撞上来的时候，标尺在那。事件落在哪一维，征象自行显现。 事件一：某自动驾驶致死事故。 一辆搭载L4级自动驾驶系统的车辆在行驶中未能识别前方横穿道路的行人，撞击致其死亡。事后系统日志显示，感知模块将行人识别为静态障碍物，决策模块选择保持车道。 标尺痕迹： 觉知本源——零。系统未感知到行人。它执行了模式匹配
-
更多关于研究人员是否可以信任OpenAI未发表的数学的问题
HN ð572· 577 评论
-
两项智能体安全团体标准启动，共筑智能体规模化应用安全基线
9月9日下午，在2026 Inclusion·外滩大会“智能体时代的安全坐标与责任边界”见解论坛上，《智能体身份鉴别与授权技术框架》《智能体运行时安全技术要求》两项团体标准正式启动。 两项标准由中国网络空间安全协会提出，蚂蚁集团联合研究院所、运营商、互联网厂商等单位共同参与编制，旨在推动智能体安全从企业技术实践走向行业共同规范。 随着大模型能力持续提升，智能
-
OpenAI可能窃取了另一个重要证据
HN Ÿ 3 · 0 评论
-
我们通过查看规范游戏得出的人工智能对齐愚蠢想法
HN ð15· 9 评论
-
Google开源Mantis：一个模块化技能工具包，允许编码代理查找、复制和修补漏洞
谷歌开源了Mantis，这是一个针对人工智能编码代理的安全审查技能的堆栈不可知工具包。它运行完整的漏洞生命周期：扫描代码、过滤误报、在沙箱中重现错误、对其进行修补、重新攻击补丁，然后对风险进行评分。Apache 2.0，并记录为仅演示。Google开源Mantis：一个让编码代理查找、复制和修补漏洞的模块化技能工具包的帖子首先出现在MarkTechPost上
-
OpenAI为其董事会增添了一位著名的人工智能末日论者
保罗·克里斯蒂安诺（Paul Christiano）是一位专注于对齐的有影响力的人工智能研究员，他将加入OpenAI基金会，成为其董事会成员。
-
刚刚退出Anthropic的人工智能研究人员说，这是“人类的关键时刻”
雅各布·考克森（Jacob Coxon）接受《连线》杂志采访，讨论了Anthropic内部的“迷你曼哈顿项目”、对齐问题，以及为什么人工智能实验室只剩下几年的时间来确保其系统的安全。
-
旧金山命令Meta停止“允许”AI虐待儿童广告
市检察官办公室已要求Meta解释有害广告如何在Facebook和Instagram上反复播放。该公司声称这些广告不受该市管辖。
-
阅读Apple文档，解释新的收听功能如何仍然保护您的隐私
在周三的iPhone Duo发布会上，苹果宣布了一些新的Siri AI音频智能功能，包括Siri Recap、Live倒带、声音识别和音乐识别。在宣布这一消息的同时，苹果还发布了一份文件，阐述了其计划如何平衡人工智能“环境监听”和用户隐私。它说来自新[.]的原始音频
-
六家中国人工智能公司被指控积极抄袭美国前沿模型
美国敦促人工智能公司识别中国用户，然后秘密地将其切换到功能较差的型号。
-
我让人工智能代理黑了我所有的小工具--我会再这么做
在我从一个强大的开源模型中移除安全护栏后，它发现了我的家用设备中的漏洞，并入侵了一台PC。但它也告诉我如何让一切变得更加安全。
-
苹果有一种新的方法来证明你的iPhone照片不是AI的垃圾
苹果推出了Apple Reference Image，以帮助用户确定照片是否已被编辑，包括人工智能所做的更改。
-
Paul Christiano加入OpenAI基金会董事会
Paul Christiano加入了OpenAI基金会董事会及其安全和安全委员会，带来了人工智能协调、安全和标准方面的经验。
-
人类学研究人员警告：自我改进的AI可能会“杀死我们所有人”
“我们确实坚信人工智能可以杀死所有人类！"
-
超级智能即将到来。我们应该让它吗？
人工智能公司一直在谈论超级智能人工智能，就像这是不可避免的一样，但最近OpenAI的Hugging Face漏洞等安全事件表明了部署比人类能力更强的人工智能系统的潜在危险。那么，当我们无法可靠地控制这些系统的功能时，会发生什么呢？在TechCrunch的Equity播客的本期节目中，丽贝卡·贝兰（Rebecca Bellan）与人工智能研究员、企业家、现任美