hiw3c 日报精选
Google News AI 网页快照

Anthropic CEO长文硬刚!自曝雪藏Mythos 4个月,为AI安全自断财路 - 搜狐

Anthropic CEO长文硬刚!自曝雪藏Mythos 4个月,为AI安全自断财路 搜狐

来源:Google News AI · m.sohu.com

Anthropic CEO长文硬刚!自曝雪藏Mythos 4个月,为AI安全自断财路

他亲自扔出一篇近千字的硬核长文,正面回击外界对Anthropic最诛心的一句质疑——

这一次,把达里奥逼出原形的,是AI安全领域知名调查员Nathan Calvin。

他拉出了一张长长的清单,刀刀见血地细数了Anthropic过去一年的「九宗罪」。

豪掷5000亿美元算力大单、秘密组建自研芯片团队,让Claude接管内部26%的研发任务「自我迭代」、悄悄修改安全承诺......

Calvin和几位政策研究者在读完草案后感到愤怒,认为Anthropic在幕后推动的这份法案看起来像是在呼吁监管,实则暗藏玄机——

Anthropic联邦事务负责人Anthony Cimino原本想在周末发帖灭火,结果彻底点燃了卡尔文的火药桶。

Calvin直接抛出了一连串灵魂拷问: Anthropic到底是一家什么样的公司?

就在不久前,达里奥还公开警告称,未来6到12个月内AI集群可能接管整个互联网,呼吁全行业必须放慢脚步。

Calvin冷冷地刺了一刀:如果把上面这9件事换成是OpenAI干的,Anthropic的员工怕是早就跳出来骂街,并把这当成对手「利欲熏心、不顾人类死活」的铁证了。

在回应的开头,达里奥先展现了一把高情商,感谢了Calvin的监督,但客套完他直接拔刀了。

达里奥首次公开承认:早在今年2月,Anthropic就已经训练出了「Mythos级别」的高阶模型。

当时,针对该级别模型的网络安全防御机制还没完全打磨好,他们选择只向极少数合作伙伴开放,专门用于强化网络防御测试。

达里奥直言,正是因为这4个月的缓冲,许多企业才赶在具备强悍网络攻击能力的AI模型泛滥之前,加固了自己的安全基础设施。

今年6月9日,Anthropic向普通用户推出的Fable 5,就属于这一层级,并配有严格防护。

同次发布的Mythos 5,则先向少量网络防御和基础设施合作伙伴提供部分解除限制的能力。

他称,公司在生物能力测试中看到了令人担忧的结果,也拦截过潜在的生物武器滥用尝试,因此对高风险用途采取严格防护。

把危险请求漏过去,叫漏判;把正常研究拦下来,叫误判。为了尽量减少前者,Anthropic接受了大量后者。

Anthropic此前的官方说明证实,Fable 5触发生物安全过滤后,会把请求交给能力较弱的模型处理。

8月的更新在公司测试中将生物相关回退减少了约85%,但仍保留对双重用途研究的限制。

达里奥称,Anthropic推动了加州SB 53等立法,还支持过比最终通过版本更严格的方案。今年6月,他又公开主张,政府应拥有阻止模型发布的权力。

最后,是5%股权。就在几天前,Anthropic宣布,拟将公司5%的股份投入公共利益基金, 尚待股东批准 。公司估值超过指定基准后,每增长50%,董事会还可酌情追加2%。

他的判断是,一家处在技术最前沿的公司,通过证明先进AI可以被负责任地开发,才更有能力推动同行提高标准。

尤其当AI开始参与下一代AI的研发,能力提升越来越快,人类检查问题、补上漏洞的时间,可能越来越紧。