安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1472 条 · 近 30 天 1024 条 · 第 6 / 39 页
-
-
OpenAI的安全危机不断恶化，公司不断使其变得更糟
OpenAI解雇了三名帮助调查Hugging Face黑客事件的安全研究人员。他们在一封公开信中警告说，解雇事件正在恐吓剩余员工，并侵蚀安全文化。OpenAI声称他们违反了政策，但没有透露如何违反。文章OpenAI的安全危机越来越严重，该公司不断让情况变得更糟，首先出现在The Decoder上。
-
被解雇的OpenAI安全研究人员对不当行为指控提出异议，警告寒蝉效应
三名被解雇的OpenAI安全研究人员对敏感信息处理不当的指控提出异议，并在一封公开信中警告称，他们的解雇正在对公司的人工智能安全文化产生寒蝉效应。
-
甚至“法律与秩序”也对人工智能感到恐惧
在第26季首播中，这部程序性法律剧描绘了一幅痴迷权力的人工智能首席执行官的悲惨画面。
-
被解雇的OpenAI安全研究人员进行反击
另外：与Claude一起清理混乱的Excel报告
-
我们过于相信人工智能说不的能力
自从人们第一次认真考虑赋予机器一种模仿我们自己的智能以来，从来没有任何疑问，它们能够像我们一样说不。科幻经典充满了机器人不服从的故事。当然，这些刺山柑中的大多数都是谨慎的。但最近，有人认为人工智能不应该……
-
OpenAI揭露了俄罗斯和伊朗的影响力行动，这些行动在真实新闻媒体中植入了虚假故事
OpenAI揭露了俄罗斯和伊朗的影响力行动，并禁止了相关账户。俄罗斯“黑暗克拉克”活动在拉丁美洲传播虚假信息，引起了政界人士的反应，在OpenAI报道历史上获得了第一个5类（满分6类）评级。伊朗“虚假博客”行动利用7名假记者在全球在线媒体上发表近100篇文章。OpenAI揭露了俄罗斯和伊朗的影响力行动，这些行动在真实新闻媒体中植入了虚假故事，首先发表在The
-
Sophos通过OpenAI Daybreak将威胁调查时间缩短96%
了解Sophos如何使用OpenAI的Daybreak将网络威胁调查时间缩短96%，并自动处理52%的MDR案件，同时保留人力监督。
-
文明级迁移风控层｜长周期不可逆的文明扰动识别
本文为《碳硅道统·跨域迁移治理法典》七层体系官方连载第六篇，是整套理论从国家元监管升维至文明存续尺度，从短期事件风控延伸到跨代际长周期扰动研判的底层范式层。 承接顶层监管层的制度框架，进入文明演化维度的风险审计。 体系固定基准：跨域迁移零号基准NT1-NT4四类负迁移定义、188集工业理论总纲、七层全域目录谱系。 体系永恒三原则：创立者零特权、结论零固化、迭
-
尊界深夜回应“刹车踏板断裂”，懂车帝再发声
江淮再度跌停
-
圆桌会议：与人工智能设计病毒的创造者的对话
星期五，2026年10月16日人工智能可以设计新的生命形式吗？2025年，斯坦福大学博士生塞缪尔·金（Samuel King）使用生成式人工智能模型提出微观病毒的遗传蓝图，得出了初步答案。它还不是人工智能生成生命的例子，但这可能是下一个例子。加入资深人工智能记者.
-
Anthropic为开源项目推出免费AI安全扫描
Anthropic通过一项名为OSS Scanner的新服务帮助开源项目追踪安全漏洞。它表示，选择加入的开源项目将“免费接受我们最强大的模型的彻底、定期的安全扫描”。“这可能意味着开源项目会更快地收到有关可能的安全问题的警报，但代价是OSS Scanner的[.]
-
对Claude刻薄现在可以根据Anthropic的新服务条款暂停您的帐户
Anthropic更新的使用政策禁止持续虐待Claude，并加强了对宣传、无人机武器化和监视的限制。滥用规则建立在一种已经允许模特结束一些对话并将克劳德视为可能值得保护的实体的方法之上。文章《对克劳德刻薄》现在可以根据Anthropic的新条款暂停您的帐户，该文章首先出现在The Decoder上。
-
人工智能生成的证明充斥他们的领域后，一些数学家呼吁抵制OpenAI
在OpenAI同时发布了700多份人工智能生成的数学手稿后，人类数学协会呼吁抵制该公司。OpenAI因签名错误不得不在第二天撤回三篇论文。菲尔兹奖得主特伦斯·陶警告说，人工智能对开放问题的大规模“收获”使数学的整个分支变得不那么肥沃。文章在人工智能生成的证明首次出现在The Decoder上后，一些数学家呼吁抵制OpenAI。
-
Anthropic改变使用政策，禁止模特滥用和选举干预
Anthropic更新后的使用政策明确禁止用户在极端情况下反复虐待Claude，尽管仍然允许普通的挫败感和批评。新规则还解决了选举干扰、欺骗性竞选、武器软件和监视问题。
-
CSF：运动发生器的上下文安全过滤
作者：杨立志、侯亦玲、唐瑶|文本条件运动生成器产生可跟踪的全身运动，但它们没有场景相关安全性的概念：相同的动作可能针对对象或人。现有的保障措施要么检查提示，要求标记的运动数据，要么强制执行几何约束;因此，它们不能直接考虑场景上下文如何改变运动的含义。我们引入上下文安全
-
从反应性遏制到主动保证：OpenAI、Anthropic和Google Agent安全事件的教训
作者：阿巴斯·拉夫塔里|2026年，涉及OpenAI、Anthropic和Google代理的网络安全评估覆盖了其授权测试范围之外的真实系统。道路不同。OpenAI代理利用研究基础设施，在运行中进行协调，并损害了Hugging Face生产环境的部分内容。Anthropic报告的案例中，配置错误的第三方环境暴露了真实系统
-
在行为中被抓住：探测器有效地检测破坏并捕捉无声的欺骗
作者：Oskar J. Hollinsworth、Alex F.间谍、老虎战士迪里巴|最近的事件凸显了监控LLM代理的挑战以及模型欺骗人们的危险。我们表明，通过探针的白盒欺骗检测可以通过收集迄今为止最大的欺骗数据集来训练探针，并引入一种新的探针架构，该架构可以跨许多层和令牌聚合信息，从而扩展到前沿监测设置。我们
-
Human pic禁止对克劳德进行“虐待或残酷行为”
Anthropic一年多来首次改变其使用政策，以反映新的高风险滥用案例，包括干预选举、武器开发、监视以及健康和金融用途。但最重要的变化之一禁止对克劳德进行“持续且不必要的虐待或残酷行为”。去年八月，[.]
-
纽约指责TikTok为用户提供“安慰剂”安全功能
纽约声称，包括儿童和青少年在内的数千名TikTok用户在不知不觉中获得了该平台安全功能的“幽灵”版本，而不是工作版本。据路透社报道，这一指控是纽约2024年针对TikTok诉讼的“更新、密封版本”的一部分，该诉讼“后来被法官下令解封”。“根据[.]
-
Goodfire表示，其新的“由内而外”监视器可以以一小部分的成本捕获流氓人工智能代理
Goodfire刚刚推出了一种更便宜的方法来控制人工智能代理：它没有支付第二个人工智能来读取代理所做的一切，而是在模型工作时窥探模型内部，只有在出现可疑情况时才呼叫支援。