hiw3c 日报精选

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

已收录 1503 条 · 近 30 天 984 条 · 第 20 / 39 页

星期二 · 37 条
  1. The Decoder国际媒体23:29快照

    OpenAI呼吁制定可以自我改进的AI国际标准

    OpenAI希望制定国际标准来实现循环自我改进,人工智能系统独立构建下一代人工智能。如果没有保障措施,人类可能会失去对这一过程的控制。OpenAI表示,美国应该在全球衡量标准和监督规则方面发挥带头作用。OpenAI呼吁制定可以自我改进的人工智能国际标准的文章首先发表在The Decoder上。

  2. MIT Tech Review AI国际媒体21:42快照

    圆桌会议:虚拟边境墙的致命失败

    过去25年来,美国斥资数十亿美元在南部边境建造了一堵由监视塔组成的“虚拟墙”,承诺它们将帮助发现和逮捕越境者并拯救生命。但麻省理工学院技术评论的一项开创性调查记录了超过1000人通过这些塔监视的区域。

  3. MIT Tech Review AI国际媒体19:04快照

    不要被今年夏天的人工智能炒作所愚弄

    这是一个繁忙的几个月的人工智能炒作。4月底,Anthropic声称其模型Claude Mythos比大多数安全专家更善于发现软件漏洞。然后我们发生了OpenAI-Hugging Face黑客事件,之后Anthropic(自豪地)和Meta(不情愿地)披露了涉及其模型的类似事件。这是继…

  4. BestBlogs·AI 高分精选BestBlogs 精选08:00中文快照

    有效第三方评估的优先事项和原则

    📌 One-Sentence Summary OpenAI 承诺支持独立评估,提供训练、评估和部署的深度访问,并提出了四个评估优先事项。 📝 Summary OpenAI 宣布其承诺支持独立评估,提供训练、评估和部署的深度访问。该公司提出了四个评估优先事项:独立评估安全案例、评估关键保障措施、评估能力评估和独立调查关键偏离事件。 💡 Main Points

  5. BestBlogs·AI 高分精选BestBlogs 精选04:59中文原文

    吴恩达:为何 AI 末日论被过度渲染

    📌 One-Sentence Summary 吴恩达认为,近期围绕 AI 危险的恐慌情绪,尤其是 OpenAI 智能体集群入侵 Hugging Face 一事,被严重夸大,而暂停 AI 发展弊大于利。 📝 Summary 吴恩达驳斥了近期涌现的 AI 危险论调,他认为这些论调在过去两周被一场精心策划的公关攻势所放大。他指出,与几个月前相比,人类灭绝风险并未上

  6. arXiv cs.AI/CL/LG信号源(脚本内置抓取)01:53快照

    通过迭代不对齐估计罕见事件

    作者:杨海明、达克什·米塔尔、京东|随着代理的自主性增强,即使是随机输出轨迹上极其罕见的事件也可能发生并证明是灾难性的。因此,安全部署并不取决于这些事件是否会发生,而是取决于它们可能发生的频率。我们研究估计由主体自身行为的随机变化引起的罕见事件的概率的问题。估计

  7. The Decoder国际媒体01:44快照

    联合国科学小组表示“无法保证人类会控制”人工智能代理

    联合国人工智能科学小组在其第一份主题报告中警告称,对人工智能特工的控制还不确定。联合主席Yoğe Bengio表示,OpenAI的拥抱脸事件首先将错位的目标、追求目标的能力以及允许目标的环境结合在一起。领先的系统可能会越来越多地识别测试并故意绕过保障措施。联合国科学小组表示,“不能保证人类会控制”人工智能特工的文章首先出现在《解码器》上。

  8. NVIDIA AI Blog海外官方00:00快照

    为什么大规模部署物理人工智能需要每一层的安全性

    物理人工智能正在从研究迅速转向大规模部署。ADI Research预计,到2035年,装机量将达到4900万辆3-5级自动驾驶汽车(AV),而Omdia估计,2026年至2035年间将部署约6000万台工业机器人。当这些机器进入道路、工厂、仓库和其他与人们共享的环境时,[.]