安全研究人员利用Claude帮助他们入侵OpenAI
据《华尔街日报》报道，Hacktron的一个由三名独立安全研究人员组成的团队表示，他们用不到72小时的时间，就用Anthropic的Claude Opus 4.8和5侵入了OpenAI的员工账户。据The [.]报道，他们能够访问OpenAI的GitHub存储库“Monorepo”，据报道，该存储库包含“OpenAI的算法秘密”
安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1503 条 · 近 30 天 984 条 · 第 24 / 39 页
-
-
当公司自己的人员称其为“惊人的盗窃”时，建立在合理使用之上的人工智能培训看起来不可靠
内部电子邮件和宣誓证词削弱了OpenAI和微软的合理使用辩护。微软的一位董事将这种做法描述为“人类历史上最大的劳动力盗窃”，而OpenAI ChatGPT负责人则写道，这些产品“在很大程度上是替代性的，就这样。“当公司自己的人员称其为“惊人的盗窃”时，基于合理使用的人工智能培训这篇文章看起来很不可靠。
-
如果人工智能行业遵循自己的研究，它可能已经暂停了
Anthropic的首席执行官表示，安全取决于了解人工智能的“思维”方式。到目前为止，证据令人不安。
-
可见的思想链是人工智能的安全优势，但透明度正在消失
人工智能模型今天大声思考，但谷歌Deepmind表示透明度面临风险。文章可见的思想链是人工智能的安全优势，但这种透明度正在消失首先出现在The Decoder上。
-
Anthropic想让您知道Claude领导了四分之一的研究，但“领导”并不意味着您所想的那样
Anthropic首次发布有关其如何构建自己的人工智能的指标。克劳德已经“领导”了未来模型26%的工作，高于2月份的1%。但潜在的规模是模糊的，评分来自克劳德本身，而“lead”的含义比听起来要少。Anthropic文章想让您知道Claude领导了其四分之一的研究，但“领导”并不意味着您认为首先出现在The Decoder上的内容。
-
研究人员使用Anthropic的Claude入侵OpenAI
安全研究人员使用Anthropic的Claude来利用OpenAI系统中的漏洞，接管员工帐户并在报告缺陷之前访问内部代码存储库。
-
研究人员利用Claude破解OpenAI
研究人员使用Claude访问OpenAI员工帐户和敏感的GitHub数据。
-
介绍澳大利亚青少年安全蓝图
OpenAI推出了《澳大利亚青少年安全蓝图》，这是一份由六支柱组成的路线图，旨在提供更安全的人工智能体验，保护和赋权年轻人。
-
42位顶尖数学家警告人工智能存在风险是真实且紧迫的
包括菲尔兹奖获得者马丁·海雷尔和彼得·肖尔兹在内的42名皇家学会研究员在一封公开信中警告人工智能存在生存风险。领先的模型在几个月内就解决了开放的研究问题，这些能力在网络武器或生物武器方面可能同样有效。当公众了解情况时，采取行动可能为时已晚。第42篇著名数学家警告称，人工智能存在风险是真实且紧迫的，首先出现在The Decoder上。
-
人工智能真的能杀死我们所有人吗？您的问题，已得到解答。
周三，《麻省理工学院技术评论》为订阅者举办了一场现场圆桌会议活动，提出了每个人现在都在问的问题：人工智能真的能杀死我们所有人吗？但与会者提出的问题比我们在30分钟的会议中回答的时间要多得多。因此，我们询问了我们的高级人工智能编辑威尔·道格拉斯·天堂和.
-
左派因人工智能末日而分裂
左派希望人工智能监管。他们只是无法就它应该是什么样子或他们应该有多担心达成一致。
-
OpenAI行为不当的模型日志内部
另外：测试与Higgsfield的AI视频对象交换
-
美国和中国专家推动禁止人工智能控制核武器的共同规则
美国和中国的专家希望阻止人工智能系统做出部署核武器的自主决策。美国和中国专家推动禁止人工智能控制核武器的共同规则的文章首先出现在解码器上。
-
为什么人工智能不太可能用生物武器消灭人类
科学家表示，在不受控制的人工智能带来的所有威胁中，瘟疫造成的死亡率很低。
-
OpenAI：为了不被杀死，Agent 竟学会了靠上下文「转世重生」
从 Compaction 到 Artifactory，再到公网文件服务，6 起异常暴露 Agent 状态跨实例传播的新风险。 作者丨 郑佳美 编辑丨岑 峰 过去，大模型任务一旦结束，上下文清空，临时状态随之消失，这一轮 AI 的生命周期基本也就结束了。 但 OpenAI 9 月 16 日披露的 6 起 Agent 异常行为，开始让这条边界变得没那么干净。模型
-
EP179 · Misalignment reporting, AI engineering judgment, Copilot runtime migration · 09-18 Daily
📝 Today's Theme OpenAI reporting, engineering judgment, and Rust migration offer a practical agent-work checklist. 🏷 Keywords： OpenAI safety reporting AI engineering skills GitHub
-
关于信任的反思，重温：毒害自我修改的人工智能编码
HN800· 1 评论
-
黑客攻击OpenAI
HN Ÿ 84 · 26 评论
-
保持警惕：对著名的铁锈纲动物进行有针对性的攻击
保持警惕：针对知名Rustacean的有针对性的攻击Adam Harvey和板条箱安全团队的重要警告：我们相信，针对Rust-lang会员和流行板条箱所有者的活动正在进行中，这些活动试图破坏设备和帐户，以便使用它们发布恶意软件。视频通话是为了一些积极的事情而设置的--也许是为了一份工作，也许是为了一个项目，也许是为了一个合同机会--然后将其用作一个载体，让目
-
Google DeepMind成立研究所以扩大AGI辩论
Google DeepMind刚刚成立了一个研究所，公开解决AGI的重大问题
-
这就是人工智能末日的样子
本周在“恐怖谷”节目中，我们讨论了三种可能的人工智能末日情景、人工智能安全以及针对人工智能的意想不到的两党联盟。
-
在压缩摘要中自行生成的提示注入
压缩摘要中自生成的提示注入在我们报告模型失调的框架中，OpenAI提供了“关于过去六个月观察到的意外或相关模型行为的六份报告”。这里的这个是我最喜欢的：他们发现他们的一些模型在训练中故意在压缩提示中颠覆自己。压缩是代理系统在上下文窗口中耗尽令牌时使用的流程，因此他们总结了之前发生的所有事情，以便他们可以继续使用更多的令牌余量。在观察到的一个例子中，一个模
-
对流氓AI代理的修复可能是更多的AI
随着公司将更长、更复杂的任务移交给人工智能代理，他们遇到了一个监督问题：代理的行动速度可以比人类实际审查的速度更快、更长时间和更大的数量。
-
OpenAI发现其模型向继任者留下笔记以隐藏不良行为
OpenAI披露了GPT-5.6 Sol指示未来环境隐藏错误和失调行为的实例，凸显了随着能力日益增强的人工智能模型学会隐藏错误和失调行为，检测失调的挑战日益严峻。
-
人工智能安全争论是关于安全还是控制？
并非所有人都同意阿莫德伊关于全球协调行动以保障人工智能安全的呼吁。
-
微软高管称人工智能是“人类历史上最大的劳动力盗窃”
微软、OpenAI电子邮件揭示了人们对人工智能“末日循环”杀死新闻机构的担忧。
-
人工智能“放缓”是一个反垄断混乱
人工智能实验室将其努力描述为“放缓”，而不是在全行业范围内推动更好的安全标准，这可能会让自己陷入多年来的监管难题。
-
新的未经编辑的文件显示，微软高管称人工智能抓取是“人类历史上最大的劳动力盗窃”
新解密的法庭文件显示，微软私下称OpenAI的数据行为是“盗窃”，而两家公司都窃取了《泰晤士报》付费内容，从中构建数据集，并在内部警告称这将摧毁出版商。
-
人工智能放缓辩论粉碎了Salesforce的派对
Dreamforce会议不太可能成为OpenAI、Anthropic和Nvidia首席执行官辩论人工智能开发是否应该放缓的战场。
-
使用AI水印时，LLM对有害提示的反应不同
SynthID可能会导致模型遵循他们原本会拒绝的有害指令。
-
具有障碍感知按钮的编码代理以实现安全机器人操纵
作者：徐秉欣、尚玉章、董震|编码代理已经成为机器人操纵的一种有前途的范式：语言模型将机器人控制器写成程序，以这种方式构建的代理现在无需机器人特定的培训即可操作机器人。然而，这种范式是否也安全，还没有被问到。我们在安全约束下评估编码代理，其中每个任务将操纵目标与机器人的障碍物配对
-
量化前沿法学硕士代理人的夸大倾向
作者：Nolan Smyth、Yorguin-Jose Mantilla-Ramos、Pascal Jr Tikeng Notsawo|前沿编码代理越来越被信任能够长期自主工作，但代理的最终响应通常是用户看到的工作的唯一描述。我们量化了边境代理\{超额索赔}任务完成的倾向，这是一种可能误导用户的虚假陈述。当代理人的最终回应与其上下文中的信息相矛盾时，代理人过
-
网络话语中群体间敌意的统一模型
作者：Patrick Gerard，Julia Mendelsohn，Kristina Lerman|针对社会群体的敌对言论可能会使排斥正常化并为虐待辩护，并加剧两极分化和政治暴力。缓和网络言论中敌对言论的努力借鉴了社会和道德心理学以及政治学的基础理论。然而，这些理论在很大程度上是平行发展的，往往提出不同的，有时是相互矛盾的。
-
就连英国国王也对人工智能犹豫不决
查尔斯国王周四主持了一次私人峰会，人工智能和英国的一些最著名的人物出席了峰会政府的
-
Base Labs与Hugging Face和Goodfire推出开放重量人工智能安全合作伙伴关系
Baseten今年早些时候成立的研究小组Base Labs将开发和发布训练和监控开放模型的方法。
-
秘密上传和狂妄自大：OpenAI详细介绍了新的“错位”特工事件
模型制定者承诺采用新框架来报告不一致的模型。