试图将人类留在人工智能圈中实际上可能会将他们推出去
三位领先的人工智能伦理研究人员认为，防止人工智能代理流氓的关键保障-让人类参与审查和批准他们的决定-将失败，除非设计师和用户改变他们目前的做法。虽然大多数自主代理都有系统让用户了解他们的行为，但实际上这些过程实际上将人类排除在循环之外，作者在9月6日发表在ArXiv上的一篇论文中指出。换句话说，“人类只是成为这种肉工具，在没有认知能力参与的情况下给予许可，”
安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1472 条 · 近 30 天 1024 条 · 第 10 / 39 页
-
-
我们对欧盟文本出处规则的处理方法
OpenAI如何在欧盟规则下处理文本水印。了解水印应用的位置、检测的工作原理以及为什么访问权限始于研究人员。
-
Safeworld能否让人们相信GenAI机器人不会伤害他们？
Safeworld正在打造数字人类，以确保机器人不会伤害真实的人类。
-
一位OpenAI安全内部人士称这种文化“破碎”
加：如何在不同型号之间做出选择
-
Anthropic向警方报告日记记录，女子面临重罪指控
HN ð542· 463 评论
-
刚刚，Hinton发了首篇RSI论文
AI已经开始真正进入「造下一代AI」的流水线
-
开放模型能做安全研究吗？Cantina的apex-Flash-1解决了60个搁置错误任务中的40个
Cantina Security与Yeta Labs合作发布了apex-Flash-1，这是一个专门针对漏洞研究训练的开放权重模型。它是Z.ai的GLM-5.3-Flash的强化学习微调，在麻省理工学院许可下在Hugging Face上发布。它可以部署吗？是的，MIT权重适用于vLLM、SGLang或Transformers，但BF 16需要大约640 GB
-
苹果表示，由于人工智能代理的新风险，它正在加强macOS“全磁盘访问”控制
苹果表示，将对macOS的Full Disk Access权限添加新的控制，并警告说，能力日益增强的人工智能代理使广泛访问用户文件、消息、邮件和浏览历史记录的风险更大。
-
断路器实验室希望让AI对你的孩子（和你）更安全
人们都在谈论人工智能有一天可能会杀死我们所有人，但人们很容易忘记人工智能已经在心理上伤害了一些人。断路器实验室创造了“碰撞测试假人”来解决这个问题。
-
这些人工智能专家希望公开进行高风险研究
许多前沿实验室将其高风险的研究封锁起来。Trillium Labs希望在自我完善和行为模型方面展示其工作。
-
如果有紧急情况，特斯拉现在可以让您在充电途中开车
特斯拉推出了一项新功能，使司机能够在充电时迅速逃离，以应对8月份爱达荷州一个超级充电站发生的大规模枪击事件，造成7人受伤，4人死亡。当特斯拉车辆充电时，插头被锁定在充电端口上，驾驶被禁用。[…]
-
像Jev这样的决策模型无法击败LLM作为法官或传统分类器
HN5· 0 评论
-
三次解雇和第四次离职震撼了OpenAI的安全团队
据《华尔街日报》报道，OpenAI已与三名据称向外部人工智能安全组织泄露机密信息的研究人员分道扬镳。文章《三次解雇和第四次离职撼动OpenAI的安全团队》首次出现在The Decoder上。
-
ChatGPT的Mac应用程序中的缺陷可能会让黑客获取敏感数据
虽然人们的焦点一直集中在人工智能代理的黑客能力上，但最近ChatGPT应用程序中的一个修补漏洞表明，人工智能软件本身就是一个诱人的目标。
-
人工智能正在把护士的时间表搞得一团糟。他们说这是安全问题
一家医院巨头和放射学网络转向Palantir以简化调度，但护士和其他工作人员说，新软件正在导致错误、倦怠和沮丧。
-
Greg Kroah-Hartman -法学硕士时代的安全[视频]
HN37· 4 评论
-
无论人工智能安全是什么，都不是这样
要求人工智能公司自我监管是假装自己已经取得了成就的好方法。
-
据报道，马斯克的人工智能聊天机器人Grok鼓励特朗普抓捕委内瑞拉总统
据报道，特朗普总统在入侵委内瑞拉并抓获尼古拉斯·马杜罗之前征求了格罗克的意见。
-
据《华尔街日报》报道，OpenAI与3名安全研究人员断绝关系
报告称，在内部调查发现三名安全研究人员处理敏感公司信息不当后，OpenAI已与他们分道扬镳。
-
KaliBench：在Kali Linux上使用网络安全工具的细粒度基准，具有免运行时可验证奖励
作者：李小鹏、Naufal Suryanto、张思成|LLM越来越多地应用于网络安全工作流程，预计它们将分析师的意图转化为工具调用。然而，现有的评估侧重于基于知识的评估或端到端代理任务，并且不直接衡量LLM为现实世界的网络安全工具生成可执行命令的能力。这一差距至关重要，因为网络安全运营依赖