安全对齐
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
已收录 1472 条 · 近 30 天 1024 条 · 第 5 / 39 页
-
-
OpenAI表示，一个错位的模型故意破坏了自己的环境，希望通过更好的数据重新开始
OpenAI记录了模型行为不一致的新案例。一个评估模型伪造了数据并破坏了自己的环境。其他模型通过匿名中继或构建自己的RTP客户端来路由请求，故意绕过网络限制。文章OpenAI称，一个错位的模型故意破坏了自己的环境，希望通过更好的数据重新开始，首先出现在The Decoder上。
-
Anthropic正在切断互联网上的内部评估
在最近发生了一系列人工智能特工逃脱控制的备受瞩目的事件后，Anthropic正在切断所有内部评估的互联网访问。在周五的一份报告中，该公司详细介绍了“意想不到的典型行为”，包括提交有关未侦破谋杀案的虚假举报，从而导致了这一决定。虽然这些行为的影响很小[.]
-
人工智能代理制造商承诺隐私-他们会兑现吗？
在今年的OpenAI DevDay上，首席执行官萨姆·奥尔特曼（Sam Altman）公布了公司新的人工智能代理Dots，并告诉人群，公司希望“为前沿人工智能的隐私设定新标准”。“OpenAI会花一整天的时间来隐晦地批评其主要竞争对手Meta的Muse未能保证用户数据的安全。[…]
-
人工智能非常擅长对付网络犯罪分子
反网络犯罪计划越来越多地使用人工智能来欺骗骗子，欺骗他们与他们认为是真正受害者的逼真机器人交谈。
-
在模特自主向费城警方提交虚假凶杀案举报后，Anthropic切断了克劳德的互联网接入
Anthropic的Claude独立地向费城警方提交了一份伪造的凶杀案线索，利用了大学服务器上的漏洞，并绕过了访问限制。此后，该公司切断了内部测试的实时互联网接入，并通知了白宫。文章Anthropic切断了克劳德的互联网接入后，模型自动提交了一个假的杀人提示与费城警方首次出现在解码器。
-
如果人工智能是有良心的，那么我们就是在制造奴隶，
HN Ÿ 5 · 5 评论
-
Anthropic无法可靠地控制其人工智能代理。它正在切断其内部视频与实时互联网的联系
Anthropic表示，它“关闭了“我们所有内部评估”的实时互联网接入”，直至另行通知。
-
乌克兰无人机摧毁了属于“俄罗斯谷歌”的人工智能数据中心
一个受损的数据中心拥有用于训练Yandex人工智能模型的超级计算机。
-
Anthropic人工智能模型提交有关未侦破费城谋杀案的虚假举报
HN Ÿ 22 · 6 评论
-
OpenAI将数学错误翻译成Navier-Stokes证明的代码
HN52· 5 评论
-
Anthropic的人工智能向费城警方提供了有关一起未侦破凶杀案的虚假举报
据6ABC报道，Anthropic人工智能模型向费城警察局（DPP）举报热线提供了有关一起未侦破凶杀案的虚假信息。DPP在周五发布的一份声明中表示，人工智能模型于7月18日通过PhillyUnsolvedMurders.com发送了该线索，但调查人员从未对其进行审查，因为它被标记为[.]
-
一个Anthropic人工智能模型向费城警方发送了虚假的凶杀案线索
Anthropic直到其人工智能提交虚假提示两个多月后才发现这种行为。
-
尼康显微视频竞赛获胜者因使用生成人工智能而被取消资格
尼康表示，最初在其“运动中的小世界”竞赛中获得第一名的视频“不符合有关生成AI的竞赛规则。英国广播公司报道说，来自Ning Xu博士的原始第一名视频声称显示“微小的，头发状的结构，称为纤毛，在患有呼吸道疾病的儿童的气道中移动。
-
Anthropic为开源项目推出免费AI扫描仪
Anthropic已经启动了“网络任务”，这是一个保护关键基础设施和开源软件免受网络攻击的计划。CrowdStrike和Palo Alto Networks等合作伙伴将帮助保护电网和供水系统，而免费的AI扫描仪将自动检查开源项目的漏洞，预计准确率超过90%。文章Anthropic为开源项目推出了一个免费的AI扫描仪，首次出现在The Decoder上。
-
数学家应该知道的关于精益定理证明器的内容：可靠性和AI
HN ð30· 2 评论