hiw3c 日报精选

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

已收录 1503 条 · 近 30 天 984 条 · 第 34 / 39 页

星期二 · 14 条
  1. Simon Willison个人技术博客06:26快照

    引用雅库布·帕科斯基的话

    我认为继续快速训练更智能的模型的最有力论据是需要建立防御系统来抵御其他人工智能带来的危险。[...]我们需要强大、一致的人工智能进行防御;保护基础设施,实时防范流氓代理,并发明全新的保护措施。这将是OpenAI部署工作的主要焦点。与此同时,即使有来自预期的广泛人工智能进展和建立防御系统的需要的不确定性,我们也不能让这成为鲁莽的借口。赛车f的想法

星期一 · 29 条
  1. The Decoder国际媒体21:05快照

    OpenAI报告人工智能“研究实习生”,并同时警告自己的步伐

    OpenAI报告称,其研究中的人工智能代理已经为每个人类工作日处理3.1个工作日,并表示已经实现了“自动化研究实习生”的目标。“但首席科学家帕科斯基警告说,没有一个实验室能够足够好地控制对齐和监控,以保持以最大速度扩展。文章OpenAI报告了人工智能“研究实习生”,并警告其自身的步伐,同时首次出现在The Decoder上。