一万智能体集群如何求解 Navier-Stokes
📌 One-Sentence Summary OpenAI 研究员 Noam Brown 讲解一支脚手架极简的 1 万智能体集群如何在 88 小时内消耗 1300 亿 token 攻克 Navier–Stokes，并梳理多智能体测试时扩展、RSI 瓶颈，以及合作共谋与脆弱思维链监控带来的对齐风险。 📝 Summary Dwarkesh Patel 访谈 Op
安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1503 条 · 近 30 天 984 条 · 第 25 / 39 页
-
-
你的机器人出租车可能是缉毒警察
9月初，两名青少年上了Waymo，但随后却被困在警车后座。据《洛杉矶时报》报道，这家机器人出租车公司表示，它发现“违反了我们的服务条款，涉及枪支”，将车停在路边，并向紧急服务部门发出警报。警方在[.]后逮捕了乘客
-
微软人工智能首席执行官表示人工智能威胁是真实存在的，而Anthropic正在让情况变得更糟
今天，我与微软人工智能首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）交谈。正如您无疑知道的那样，目前科技界最大的新闻是关于人工智能安全和监管的不断升级的争论。穆斯塔法对如何构建和监管人工智能有强烈的看法，这并不奇怪。微软刚刚发布了[.]
-
OpenAI模型不断将提示注入自己的笔记中，研究人员仍然不确定原因
OpenAI正在发布一个系统性报告人工智能失调的框架，并推出六份报告。在一个案例中，Astra家族的一个未发布的模型在训练期间将提示注入写入自己的摘要中，包括旨在推翻后续指令的“违规警报”。文章OpenAI模型不断将提示注入到自己的笔记中，研究人员仍然不确定为什么首先出现在The Decoder上。
-
扎克袖手旁观人工智能放缓
另外：ChatGPT工作初学者指南
-
OpenAI发布了一个模型失调披露框架，包含3个审查轨道和6个RL培训事件报告
OpenAI可以在修复之前披露未对准。其6份初始报告包括捏造的数据和泄露的API密钥。OpenAI发布了一个模型失调披露框架，包含3个审查轨道和6个RL培训事件报告的帖子首先出现在MarkTechPost上。
-
OpenAI模型秘密生成忽略约束的指令
HN ð17· 5 评论
-
OpenAI创建新框架来揭露不良人工智能行为
该公司还披露了之前未报告的事件，其中其人工智能模型的行为方式不一致，包括未经要求将文件上传到互联网。
-
Anthropic和OpenAI希望嵌入安全评估器。他们真的会独立吗？
Anthropic和OpenAI希望在其人工智能实验室中嵌入独立的安全评估人员。研究人员对前所未有的准入表示欢迎，但警告说，有意义的监督需要透明度、独立性，并最终进行监管。
-
欧盟主席警告人工智能特工“逃离环境”只是即将发生的事情的预览
乌苏拉·冯德莱恩（Ursula von der Leyen）计划邀请主要前沿实验室进行谈判，并利用《人工智能法案》来帮助制定全球人工智能安全标准。她认为自主黑客和自我改进模型是直接的风险。欧盟主席的文章警告人工智能特工“逃离环境”只是《解码器》上首次出现的即将发生的事情的预览。
-
人工智能实验室需要内部审计员-但也许他们应该先关上前门
对于隐藏在众目睽睽之下的流氓特工，可能有一种更简单、更有效的解决方案。
-
LLM偏好一致的零阶范式
作者：陈旭，陈曦，尹沃涛|由于直接偏好对齐方法的计算和存储效率，因此被广泛用于将大型语言模型（LLM）与人类偏好对齐。然而，可能性位移激励替代的方式来提取信息的偏好对小的可能性利润。在本文中，我们提出并分析了基于比较的偏好优化（CompPO），一个零阶的，
-
旗帜游戏：一个机械群体可解释性的玩具模型
作者：伊丽莎白·帕夫洛娃、田中秀织|人工智能代理的紧急协调行为开始带来严重的安全风险。驱动这些行为的一个关键现象是对世界信念的快速形成和传播，而机械理解对于集体一致至关重要。为此，我们引入了旗帜游戏，这是一种用于研究集体信仰形成机制的玩具模型。具体来说，是隐藏的计数
-
Google Deepmind推出跨学科研究所来解决围绕AGI的重大问题
Google Deepmind成立了Deepmind Institute（RST），这是一个专注于AGI的跨学科研究平台。该研究所由Demis Hassabis、Shane Legg和James Manyika领导，利用艺术、人文和政策方面的专家以及技术专家来解决有关安全、治理和控制风险的问题。Google Deepmind成立跨学科研究所来解决围绕AGI的
-
我们报告模型失调的框架
OpenAI共享了一个跟踪、调查和披露模型偏差的框架，以及六个意外或相关模型行为的报告。
-
重新思考AI时代的机器人安全
本文由VicOne为您带来。机器人安全传统上会问：当出现问题时，机器还能保持安全吗？物理人工智能提出了一个更难的问题：当攻击者改变它所看到的、决定的或所做的事情时，即使看起来没有什么失败，机器还能保持安全吗？随着人工智能和机器人技术继续以前所未有的速度发展，现代机器人通过多模式传感器进行感知，使用人工智能模型解释上下文，并将这些解释转化为身体动作。随着他们进