AI 日报hiw3c.com

2万亿美元估值靠什么撑?Anthropic 核心技术负责人:蒸馏会毁掉前沿研发,中美AI 竞赛不会单边暂停 - InfoQ-CN

Google News AI www.infoq.cn 网页快照

 创作场景

从 0 到 1 详细介绍你掌握的一门语言、一个技术,或者一个兴趣、爱好

2 万亿美元估值靠什么撑?Anthropic 核心技术负责人:蒸馏会毁掉前沿研发,中美 AI 竞赛不会单边暂停

Anthropic 在IPO申报中披露激进的基础设施投入与亏损扩张路径,以5180亿美元长期算力承诺押注智能边际价值指数增长。其核心逻辑是:前沿AI能力随技术前沿移动持续溢价,而旧能力快速商品化。

智能边际价值呈指数增长,驱动厂商超前锁定算力;IPO文件揭示营收暴增(+12倍)与巨额亏损(-80亿美元)并存;Broadcom贷款与TPU采购深度绑定,融资与基建已一体化。

Anthropic 的两位关键技术负责人 Nicholas Marwell 和 Sholto Douglas 在播客中谈到的,在一个多月发布后的期间就已经切实发生。

这期间,Anthropic 披露了自己的 IPO 申报文件,再次把自己的豪赌摊到了华尔街面前:2025 年,Anthropic 营收接近 46 亿美元,同比增长约 12 倍,但经营亏损仍超过 80 亿美元;与此同时,公司已经为未来的云、算力和基础设施签下至少 5180 亿美元的长期承诺。如果上市顺利,其估值最高可能超过 2 万亿美元。

模型正在以几个月为单位快速贬值,厂商们也在以前所未有的规模购买未来的“智能”。Anthropic 甚至连融资和采购本身都开始缠绕在一起。Broadcom 同意向 Anthropic 提供最高 420 亿美元贷款融资用于基础设施支出,而 Anthropic 又承诺未来 5 年投入 1252 亿美元租用 TPU 算力。

这背后的逻辑,对应了 Nicholas Marwell 在采访中给出的内部判断:每增加一个边际单位的智能,它创造的经济价值,都可能比前一个单位呈指数级增长。

“Tab 自动补全已经几乎不值钱了,但它之后出现了 agentic coding;智能体式编程之后,可能是能够独立完成软件工程工作的 AI;再往后,是数学发现、生命科学、疾病治疗,乃至把数百年的技术进步压缩到几十年里。旧能力会迅速商品化,但只要智能前沿继续移动,最前沿的那一点能力反而可能变得越来越昂贵。”这也是为什么一家去年只有数十亿美元收入的公司,敢提前签下数千亿美元算力。

它一边向资本市场描绘 AI 比工业化、电力和互联网更加深刻的经济变革,一边又在风险提示里反复警告:越来越先进的 AI 可能带来“灾难性甚至生存性风险”,模型可能出现抗拒关闭、隐藏信息乃至其他难以预料的自主行为。

Anthropic 正在向投资者讲述一个非常特殊的故事:这项技术可能极其危险,所以我们必须认真控制它;但它又可能极其重要,所以我们不能停止向前。这种近乎极端的乐观与警惕,也贯穿了 Nicholas Marwell 和 Sholto Douglas 与主持人 Joe Lonsdale 的这场对话。

两位 Anthropic 技术负责人谈到了未来几年就可能到来的 AGI,谈到 AI 为什么会从程序员的助手变成真正的“员工”,与此同时,他们也毫不避讳另一面:失业、生物安全、网络攻击、开源模型的能力扩散,以及中美之间无法轻易暂停的 AI 竞赛,都可能成为接下来几年最现实的风险。

他们也谈到了 AI 编程过去 18 个月发生的变化、为什么下一阶段可能属于“通才”、Anthropic 对开源和监管的真实立场、为什么反对模型蒸馏,以及一个不怎么被提及的问题:如果前沿模型几个月就会贬值,Anthropic 凭什么还能成为一家价值万亿美元的公司?

A: 未来几年里,很可能会出现能力达到或超过所有人类的模型。它能够完成人类在电脑上可以完成的所有事情;等机器人技术足够先进之后,也可以完成人类在物理世界里能够完成的所有事情。

A: 18 个月前,我基本还是一行一行手写所有代码。加入 Anthropic 几个月后,我开始变成“指导模型”写代码,每隔几分钟告诉它下一步做什么,但我还是得频繁检查,因为它会犯错,也会跑偏。

而现在,我可以直接让模型独立完成一天、甚至两天的工作,并真正推动项目进展,感觉就像多了一个初级团队成员。仅仅 18 个月,我们就从“必须一直让人盯着的工具”,变成了“很像一个初级团队成员”的系统。

A: 到目前为止,大部分模型开发,其实还是在让模型能够完成“人类本来就已经很擅长完成的任务”,但现在开始出现了一些不同的东西。最近数学领域的一些结果就是例子:人们开始尝试用模型去推动人类智能和人类成就的边界,而不只是提高已有工作的效率。现在真正不同的是,模型开始把不同的人类想法组合起来,从而形成以前没有出现过的新想法。

A: 未来大概 6 到 24 个月,我最兴奋的就是生物学。模型会开始像它们今天影响软件工程一样,真正影响生命科学。AI 会成为生命科学领域最重要的技术,至少在我们这一代人的有生之年是这样,甚至可能是有史以来最重要的技术。

A: 我觉得是。我现在甚至更担心,我们有没有足够的物理基础设施和实验室基础设施去承接这些能力,而不是 AI 本身能不能提供足够有用的智力能力。

最直接的一个维度当然是:到底有多少实验室空间。但除此之外,还有实验室质量的问题。美国现在很多实验室基础设施的质量指标,其实明显落后于中国这样的地方。

A: 如果技术扩散需要一段时间,那么未来 10 年,在很大程度上会属于通才。过去,一个人获得优秀职业发展的方式,通常是掌握一套很有价值、很有市场的专业技能。但未来每个人都可能相当于拥有一家千人公司的能力,那真正重要的会变成:你能不能判断什么问题值得解决?什么事情能让你的社区变得更好?所以“选择问题”本身,可能会成为最核心的能力。

A: 我们主要担心几个大类风险。其中一个就是失业,还有一些更直接、更近期的风险,就是生物风险和网络安全风险。这些事情不是遥远的未来,而是现在正在发生。

A: 现在网络安全和生物领域都更偏攻击占优,但我认为未来两年里,网络安全会逐渐变成防御占优。你可以提前攻击自己的系统,把防御先做起来,把所有漏洞都补掉。最后,我们可能进入一个网络安全程度高得多的世界:每个人都能提前获得足够强的智能,先弄清别人可能从哪里攻进来,然后把这些口子堵住。

A: 至少从我个人来说,我非常支持开源。我们真心认为,让开源存在于这个世界是一件非常好的事。我自己当年学习机器学习,就是靠开源模型学出来的。但我们也认为这里面确实存在很多风险,而且未来风险会越来越大。

所以我们的立场是:应该设定一些阈值,决定社会整体到底愿意把多强的能力直接释放出去。无论封闭模型还是开源模型,都应该满足同样的安全门槛。除此之外,人们想怎么做,都应该有自由。

A: 至少在任何我们能够接受的情形下,都不会出现“美国放慢、中国继续前进”这种结果。任何真正的“放慢”方案,都必须是完全协调的,而且我们必须能够真正信任每一个参与方都会遵守。基本不存在我们单独让美国放慢的情形。

A: 蒸馏不是一种能够把你推进到下一代前沿的方法,它只能复制当前的前沿。真正进入下一代前沿,需要巨额的前期资本投入。未来一次训练运行的成本可能是 100 亿、1000 亿,甚至 1 万亿美元。如果任何人都可以只花很小一部分成本,把你做出来的东西复制走,然后一两周内推出一个复制品,那他们在经济上反而会比你更有优势,因为他们完全不需要承担你那笔巨大的研发成本。

A: 稍微落后于前沿的那一侧,会不断商品化;但真正的领先前沿,价值反而会越来越大。我们经常把它称作“智力的指数级经济回报”:你每增加一个边际单位的智能,它所产生的价值,可能都比前一个单位呈指数级更高。

A: 原本按照今天的人口规模和科研速度,可能需要未来几百年才能发展出来的技术,有机会被压缩到未来 10 年、20 年里完成。你可以不断提高、甚至有可能让人类的智力生产能力和物理生产能力翻倍,最终真正进入一个后稀缺世界。

在那种世界里,几乎所有东西的成本最终都会压缩到能源成本。那会是一个我们治愈了所有疾病的世界,甚至很可能已经解决了衰老和寿命问题。地球上的每个人,都能获得一种今天连最富有的人都无法享有的丰裕程度。这就是我们想争取的世界。

18 个月,模型变成了“初级员工”

主持人:今天非常高兴请到 Anthropic 的两位优秀技术人才。Nicholas,你是技术团队的核心成员之一,参与领导强化学习科学;Sholto,你也是强化学习方向的技术负责人。你们分别加入 Anthropic 多久了?

主持人: 太不可思议了。它现在已经成了全球最重要、规模最大、增长最快的公司之一,却只成立了 5 年。现在的加州确实是个让人头晕目眩的时代。我们今天在纳帕录制,谢谢你们过来。先从你们的背景聊起。Sholto,你在哪里长大?来自哪里?

Sholto Douglas: 我在悉尼长大。大概在 2020 年,我看了很多博客文章和论文之后,非常确信规模化(scaling)这条路线是有效的,而且总体上我们正朝着在 2020 年代实现通用人工智能(AGI)的方向前进。

当时,我白天正常工作,晚上和周末拼命做研究,希望证明自己能够达到 DeepMind、Anthropic、OpenAI 这类公司要求的研究质量标准。

Sholto Douglas: 本科读的是机器人学,2019 年毕业。之后基本上一直在自己做研究,后来在 DeepMind 工作了 2 年,过去 18 个月则在 Anthropic。

Nicholas Marwell: 我其实就是旧金山本地人。现在做人工智能的人里,旧金山土生土长的反倒不算常见。

我成长的家庭环境对我影响很大,尤其是我父亲。他职业生涯的前半段做的是非常传统的商业工作,但到了人生后半段,也就是我成长过程中更关键的那几年,他找到了另一条自己很感兴趣的路:思考怎样回馈社会,尤其是怎样利用技术去做这件事。

所以我在思考自己未来要做什么时,一直在找一种能够同时满足两件事的工作:一方面,让我获得成为一个真正有执行力商业人士所需要的能力;另一方面,又能把这些能力用于创造社会价值。

Anthropic 对我来说恰好是一个非常完美的交汇点。当时我已经开始非常担心人工智能安全问题,而我那时其实还在 Thrive Capital 驻场,做的是完全不同的事情。Anthropic 的机会几乎是突然出现的,我当时就觉得“这可能就是我应该去做的事”。

主持人: 自从你们加入 Anthropic 之后,我觉得它已经成了人工智能公司里最重要的一批。你们官方不公布太多数字,但外面会不断有数据流出来。我们现在录制是 8 月,外面流出的数字说,Anthropic 的年化收入运行率已经超过 800 亿美元,而且增长还非常快,领先 OpenAI,也领先很多其他公司。现在内部最让你们兴奋、又能公开谈的事情是什么?身处这个最前沿是什么感觉?

Sholto Douglas: 我最容易讲清楚的,是编程体验到底发生了多大变化,因为这是我们最直观感受到进步的地方。

18 个月前,我基本还是一行一行手写所有代码。加入 Anthropic 几个月后,我开始变成“指导模型”写代码:每隔几分钟告诉它下一步做什么,比如写下一个函数。但我必须频繁检查,因为它会犯错,也会跑偏。

而现在,我可以直接让模型独立完成一天、甚至两天的工作,并真正推动项目进展,感觉就像多了一个初级团队成员。仅仅 18 个月,我们就从“必须一直让人盯着的工具”,变成了“很像一个初级团队成员”的系统。

主持人: 所以我们现在坐在这里聊天的时候,那些“初级团队成员”,也就是 AI,还在替你工作?

Sholto Douglas: 就是和一些团队成员一起做各种强化学习科学相关工作。

Nicholas Marwell: 我换一个角度回答。我觉得,到目前为止,大部分模型开发,其实是在让模型能够完成“人类本来就已经很擅长完成的任务”。我们真正获得的,是额外的杠杆:让人类本来就认知上能够完成的事情,做得更快、更大规模。

比如开发一个软件,人类开发团队在同样时间里本来也能做出来,模型只是让这件事效率更高。但我认为现在开始出现了一些不同的东西。最近数学领域的一些结果就是例子:人们开始尝试用模型去推动人类智能和人类成就的边界,而不只是提高已有工作的效率。

Nicholas Marwell: 对。最近出现了很多新的数学证明,有些问题是人类研究了很久、一直没有解决的,现在模型开始给出结果。

主持人: 但其中一些例子看起来像是某个很聪明的数学家突然意识到,计算机已经强到可以暴力穷举一个人类没法暴力穷举的问题。它们还是很擅长某些特定事情,然后由人类拿来用。还是说,它真的已经在提出全新的理论?

Nicholas Marwell: 至少现在,我不会说它已经在提出“人类根本不可能想到的想法”。但其实我觉得,大多数真正的进步和智力成果,本来就很少是那种凭空冒出来、完全无法追溯的东西。

当然有例外,但社会绝大多数成就,本质上都是把已有的点连接起来,在前人的智力成果上继续搭建。你刚才说,把不同的人提出的两个想法连接在一起,产生一个新的结果——这其实就是人类做智力工作的基本方式。

现在真正不同的是,模型开始把不同的人类想法组合起来,从而形成以前没有出现过的新想法。相比之下,再写一个新的 Web 应用(web app),很难说是在为整个人类创造什么新的智力成果。

模型或超人类,公司内部有人把 AI“人格化”

主持人: 硅谷以前从没见过公司以这种速度扩张。不是简单的 10 倍、再 10 倍,而是整体都在飞快变化。现在的感觉就像每过 60 到 90 天,都会冒出一家新公司,事情实在太多了。我觉得这是很多人的共同体验。而你们就在增长最快公司的核心位置。和以前的人生相比,这到底是什么感觉?接下来会去哪里?这种加速还会继续吗?

Sholto Douglas: 我觉得 Anthropic 有一点非常好,随着公司的加速发展,我们自己的雄心也能够同步扩大。

18 个月前,我们真的必须极端聚焦于 code,先证明自己至少能在一个方向上做到全球最好。现在,公司的使命已经远远不只是“做一个很擅长写代码的好模型”。随着公司规模扩大、收入增长,我们终于有能力把更多拼图拼起来,真正开始推进那个更大的使命。

主持人: 那我们多聊聊这个使命。我这周早些时候和另一位人工智能行业的资深朋友聊过。他的说法是:第一步,你得在代码和数学上做到最好;但下一步就会出现很多新的能力,模型可以在越来越多的人类技能上做到 A++。你们的思路是不断引入更多新技能吗?还是说,从这里往后的使命到底是什么?

Sholto Douglas: 我们一直以来的判断都是:未来几年内,实现 AGI 是可行的。

我们认为,未来几年里,很可能会出现能力达到或超过所有人类的模型。它能够完成人类在电脑上可以完成的所有事情;等机器人技术(robotics)足够先进之后,也可以完成人类在物理世界里能够完成的所有事情。

这会带来巨大的上行空间。它意味着今天全世界能够完成的智力劳动和体力劳动,都可以被成倍放大;原本可能需要几百年才能完成的进步,有机会被压缩到非常短的时间里。但它同时也伴随着巨大的风险。所以公司的真正目标,是帮助世界穿过这些风险,最终获得另一端的巨大收益。

主持人: 我们稍微退一步,看看整个 AI 浪潮现在到了哪里。你刚才说,大概在 2020 年,你就意识到 AGI 有可能实现。我记得差不多也是 OpenAI 发布 GPT-3 的时候。今年早些时候我也和 Dario 聊过。按照某些指标,模型的一些能力几个月就能翻一倍。我们应该怎样量化这种进展?你刚才举的例子是,现在已经可以把 AI 当一个初级员工使用。除此之外,有没有什么指标,可以帮助大家理解未来几年它到底会变强多少?

Sholto Douglas: 有很多评测,本质上就是给模型做考试。在这些评测上,进步速度非常快。

我不想老拿数学举例,但数学确实可能是最适合观察的领域之一。比如有一套由不同数学领域教授共同整理的问题集,模型一开始的成绩是 0%,而仅仅过去一年,就提高到了 40%、50%、60% 以上。这个评测叫 FrontierMath。

主持人: 你需要一些可以证伪、可以持续迭代的东西?比如说,能不能测试它在 Instagram 上跟一个女孩聊天,然后看它有多大概率让对方愿意出来约会?当然,我已经结婚了,不是为了我自己。

Sholto Douglas: 模型大致有两种主要的改进方式。第一种,是在互联网上规模巨大的文本语料库上训练;第二种,就是我们两个人都在做的强化学习:让模型去解具体问题,然后检查答案是否正确。

你刚才说的关键就在这里。数学和计算机科学很容易这么做,因为答案往往能够明确验证;但恋爱、诗歌或者其他主观问题,就难得多。这也是为什么数学和计算机科学的进步速度明显快于其他领域。不过我们其实认为,把其他类型的问题也转化成类似框架,并没有想象中那么困难。

Nicholas Marwell: 这里不仅有技术原因,也有一个社会原因。为什么数学和计算机科学先跑出来?因为最开始负责“制造智能”的那批人,很多本来就来自数学和计算机科学背景。于是当然会先在自己理解、也最感兴趣的领域里构建智能。

另外,还有一个很实际的原因:在训练模型时,你会花大量时间直接阅读模型做了什么,判断它到底有多强、还存在哪些问题、接下来应该重点补什么。对你自己就是专家的领域,这件事显然更容易。

Nicholas Marwell: 我个人不会。当然,有些人可能会,我相信 Anthropic 内部肯定也有人会。

主持人: 人脑其实就是被这样“编程”的。我们的大脑里有一整套机制,会自动把眼前对象当成另一个人,试着镜像、推测对方的情绪,才能和他交流。进化给我们装进了很多这样的能力,让我们天然会把一个“智能”当成另一个智能。所以,如果你每天都在和模型一起工作,完全避免人格化也挺难。

Sholto Douglas: 这可能也是当前一个很大的争论:到底应该把这些系统理解成“工具”,还是理解成“实体”。

我其实觉得,把它理解成一个实体,是很有用的框架。因为工具意味着你从头到尾都在直接操作它;但现在这些模型更像是,你把一个非常聪明的东西释放出去,在某种意义上让它进入世界,替你采取行动。正因为如此,把它当成一个实体来理解,很多时候反而更准确。

主持人: 有没有哪些领域,我们其实应该让这种智能去做更多事情,但现在还没真正开始?或者说,哪些方向是你们现在特别兴奋、正在推进,未来会大量使用 AI 的?

Nicholas Marwell: 对。不过我觉得要先区分两个问题:一个是“模型今天已经很强,只是这些能力还没有被充分利用”,另一个是“我们最兴奋模型下一步会去哪里”。

如果说后者,那么未来大概 6 到 24 个月,我最兴奋的就是生物学。我认为模型会开始像它们今天影响软件工程一样,真正影响生命科学。而且不仅仅是被广泛采用,它带来的社会收益会非常分散、非常广泛,也会非常强大,比如治愈疾病、让所有人变得更健康,以及延长寿命。

主持人: 长寿这件事有很多非常奇怪、非常前沿的研究。比如表观遗传学里,好像有很多机制和寿命相关,这些东西我们其实也只是过去 20 年、随着一些诺贝尔奖相关工作才开始理解。我们在湾区的很多朋友现在都有公司,已经有数十亿美元投入进去,研究怎么触发这些机制、怎么让身体的一部分重新变年轻之类。所以你觉得 AI 会成为这类进展的关键?

Nicholas Marwell: 我认为 AI 会成为生命科学领域最重要的技术,至少在我们这一代人的有生之年是这样,甚至可能是有史以来最重要的技术。

而且我现在甚至有一个担心:真正限制我们的,也许不是 AI 能不能提供足够有用的智力能力,而是我们有没有足够的物理基础设施和实验室基础设施去承接这些能力。

主持人: 这有点像 3 年前,我们其实就应该多建很多算力基础设施。现在是不是也应该有人开始大规模建设实验室空间,让你们以后直接用?

Nicholas Marwell: 我觉得是,而且这里有好几个维度,最直接的一个维度当然是“到底有多少实验室空间”。但除此之外,还有一个问题是实验室质量。美国现在很多实验室基础设施的质量指标,其实明显落后于中国这样的地方。

我认为,这应该成为未来非常重要的一项社会基础设施工程:我们需要想办法重建美国的供应链和实验室体系,让它重新达到全球金标。

未来 10 年属于“通才”

主持人:我们再退一步,从整个浪潮的角度来看。如果你是一个刚毕业的大学生,或者已经进入职场,但你不在 Anthropic,也不在硅谷的中心,只是一个聪明、有野心的人,你应该怎样规划自己的职业?尤其考虑到你们认为未来几年会发生的事情。

Nicholas Marwell: 我觉得未来可能出现几种不同情景。Anthropic 有责任公开谈论自己正在带入世界的风险,其中一个我们确实非常担心的问题,就是失业。

但也存在另一种可能:这项技术扩散到整个世界所需要的时间足够长,比如要 10 年甚至 20 年。那在这种情形下,会出现非常多机会,你可以把自己的整个职业生涯建立在“帮助这项技术扩散、落地”这件事上。

我以前也和一些人聊过这个问题。我有个弟弟现在就在大学,也正好在想同样的问题。我觉得,如果我们进入的是这种技术扩散需要一段时间的世界,那么未来 10 年,在很大程度上会属于通才。

过去 20 年、甚至 50 年,一个人获得优秀职业发展的方式,通常是掌握一套非常有价值、很有市场的专业技能,然后依赖其他专业人士一起协作。但未来每个人背后都可能相当于拥有一家千人公司的能力。

这意味着,真正最重要的能力会变成:你能不能判断什么问题值得解决?什么事情能让你的社区变得更好?无论从商业价值、社会公益,还是其他角度,你都将拥有足够多的工具去推动改变。所以,“选择问题”本身,可能会成为最核心的能力。

主持人: 你刚才说“有哪些问题值得解决?怎样让我的社区变得更好?”这和我看世界的一个底层框架其实很接近。

作为一个犹太人,有一种传统观念是:一周有 6 天,你要把自己当成在修复这个世界;到了安息日,也就是休息日,你暂时假装世界已经修好了。我觉得很多主要宗教里都有类似的东西。我的乐观就在于,我认为我们每个人身边永远都会有东西需要修复、帮助和改善,我们的社区也一样。除非你真的相信我们马上就会进入乌托邦,否则人总归会有事情可以做,对吧?

因生物、网安的攻防失衡被嘲

主持人: 我知道你们总体上是乐观主义者,也有很多非常积极的事情可以谈。但我还是想先聊聊那些担忧,因为很多人真的非常好奇。

在美国东西海岸这些地方,我们身边看到的都是特别积极的东西:朋友们比以前更快地创业,到处都是正向能量。至少我去旧金山、纽约,甚至在得州奥斯汀做的一些事情,都有这种感觉。但美国其他很多地方的人,感受到的可能完全不一样。他们觉得自己的生计受到威胁,很害怕。他们也不知道你们会不会是一群特别疯狂的人,最后拿着这种技术去征服世界之类。有没有一条你们自己也担心的、确实可能出现的坏路径?还是说,他们担心的路径本身就是错的?

Sholto Douglas: 我觉得这些担忧完全合理。我们主要担心几个大类风险,但对于这些风险,我们总体上的判断是:如果未来几年采取正确行动,那么到了 2030 年代,我们仍然可能进入一个比今天好得多的世界。

其中一个我们已经提到的主要风险,就是失业。这个问题值得单独花很长时间讨论,包括为什么它是风险、我们认为应该做什么。还有一些更直接、更近期的风险,就是生物风险和网络安全风险。这些事情不是遥远的未来,而是现在就正在发生的事情。

主持人: 这里以前也出现过一些挺烦人的事情。比如有人会嘲笑 Anthropic,说你甚至不能问 Claude“细胞里的线粒体是什么”。那当然很荒唐,你肯定应该可以问这种东西;你只需要确保它别去帮人造生物武器就行。

Sholto Douglas: 对,这种问题当然应该允许。我们现在真正做的,是建立一整套基础设施,让我们能够有信心保证不会有人利用这些模型去制造生物武器。

Nicholas Marwell: 生物和网络安全最困难的一点,是它们本质上都属于双重用途能力。网络安全最容易理解,比如我给 Claude 一个代码库,然后说:“请找出这里所有的漏洞。”我有可能就是这个代码库的所有者,想加强自己的防御;但我也同样有可能是攻击者,正在找进去的方法。

生物领域也有很多类似的双重用途特征。你可能在一个细胞里针对某个东西,99.9% 的概率是为了杀掉癌细胞、治疗疾病,但也存在极小概率,你是在做非常糟糕的事情。

所以我们现在在做很多工作,目标就是让善意行为者能够正常使用这些技术,同时把恶意行为者挡在外面。我们的总体判断是:在我们还做不到阻止恶意行为者利用这些技术造成严重伤害之前,不应该直接把它们释放到外界。

主持人: 而且现实里确实已经有人这么干了,甚至都不是用 Anthropic 的模型。我自己的倾向是:整体上如果世界拥有更多智能,那么更多人也能理解这些危险用法,并用智能去阻止它们。这里显然存在一个权衡。所以一个非常重要的动态,就是某个领域究竟是“攻击占优”还是“防御占优”。

现在网络安全和生物领域都更偏攻击占优。但我觉得未来 2 年,网络安全很可能逐渐转向防御占优。尤其如果所有人都能获得足够强的智能,用它来攻击自己、测试自己、把系统加固起来。

Sholto Douglas: 没错。你可以提前攻击自己的系统,把防御先做起来,把所有漏洞都补掉。最后,我们可能进入一个网络安全程度高得多的世界:每个人都能提前获得足够强的智能,先弄清别人可能从哪里攻进来,然后把这些口子堵住。

所以我们现在做的事情,本质上就是提前干这个。我有个朋友以前就参与过五角大楼和银行系统的红队测试,是在对方主动邀请的情况下进去找问题。他们现在会用新的 AI,因为 AI 在这方面真的非常强,所以所有机构都得尽快跟上。

主持人:攻防优势的轮转,是人类千年技术发展的核心规律。欧洲古代自由城邦依靠防御体系实现独立发展,直到火炮技术诞生,攻破了城墙防御,帝国格局取代了小城邦体系,技术彻底颠覆了攻防平衡。

但从长期看,如果用得对,网络安全完全可能转向防御占优。我真正担心的是:这个世界里,会不会存在某些我们还没发现、但极度攻击占优的东西?举个我并不认为真会发生的极端例子:假设有人能够做出一种会自我复制的纳米机器人,它足够聪明,能把整个世界都“吃掉”。一个天才做出来以后,它自己复制,最后全世界都没了,我们都死了。

我再强调一次,我并不认为这真的会发生。但问题在于,我们是不是应该尽早利用智能,去找出世界上到底有哪些东西可能极端攻击占优?

Sholto Douglas: 对。而且生物领域目前确实是非常攻击占优的。除非我们投入巨量工作,把整个世界改造成更偏防御的一方。

其实,我们知道有办法让世界在生物风险面前变得防御占优,但那可能需要数千亿美元级别的基础设施投入。在机器人技术能力还没有得到巨大提升之前,这件事很难变得经济上合理。可能要到 2030 年代,当机器人能力足够强、能够帮我们大规模建设这些基础设施时,成本结构才会真正改变。所以现在这个时期确实有点可怕:当前还是攻击占优,但我们想把它改造成防御占优。

回应 Anthropic“通过监管获利”批评

主持人: Anthropic 总体上还是一家很受尊重的公司。但任何公司只要开始成为“冠军”,都会有人嫉妒、攻击。我经常把这种情况类比成 1990 年代的微软。

有时候这些攻击纯粹就是因为你声望很高、发展很强;但有些批评也可能确实有合理部分。我有很多非常聪明的朋友,他们对 Anthropic 有一个印象:觉得你们在推动某种“监管俘获”策略,即利用监管来建立优势,他们觉得这不是好事。我很好奇你们怎么回应。

Nicholas Marwell: 我觉得这里至少有两件事值得拆开说。第一个是最近伴随着开放权重讨论一起兴起的“监管俘获”叙事,第二个是一个更直接的问题:如果 Anthropic 真的是为了自身利益去做监管俘获,那它会不会选择今天这套做法?

先说第一点。如果一个人不懂里面的细节,那么他这样理解并不奇怪:开放权重是一种重要的公共技术资产,我们希望它继续存在;从某些角度看,它又和 Anthropic 的部分商业模式构成竞争,于是 Anthropic 就可能利用监管手段去打压做开放权重的人。而传统上,开源或者开放权重社区,确实经常规模更小、资金更少,也不太擅长在复杂监管体系里周旋。

但我觉得,今天开放权重的现实已经不是这样了。你看看现在真正推动、开发开放权重模型,以及提供这些模型服务的主体,大部分都是全球最大的公司。在美国,有 Nvidia、Amazon、微软这样的公司在推动开放权重前沿,中国的实验室现在也越来越多是资金极其充足、甚至已经上市的机构。

所以即使这些模型本身开放权重,它们背后的公司也完全有能力应对监管环境。我并不太担心说,一套同时约束开放模型和封闭模型的监管,会不成比例地拖慢开放权重开发者,而对封闭权重开发者影响很小。

第二个问题更直接:如果你真的只想通过监管给自己谋利益,那 Anthropic 过去做过的很多事其实很难解释。一个很好的例子就是 Fable,以及更早的 Mythos。

从纯经济动机来看,当时 Anthropic 手里有一个遥遥领先、几乎是全球最强的模型。其他公司在那个阶段没有哪个模型真正接近它。Anthropic 完全可以利用几个月的模型领先期迅速扩大商业优势,甚至让市场彻底怀疑其他实验室还能不能跟它竞争。

但 Anthropic 的第一选择,是先和政府一起合作,以政府能够接受的方式把模型部署出去。这是一个明显不利于公司短期经济利益的决定,却符合我们对于模型应该如何部署、如何监管的价值判断。

所以这不是一个“为了经济利益实施监管俘获”的策略,而是因为我们认为政府在关键技术、尤其可能带来严重危险的技术如何开发和部署这件事上,本来就应该扮演非常重要的角色。作为站在前沿的公司,我们也有责任确保政府获得足够信息,并真正参与这个过程。否则,谁来代表其他所有人?

主持人: 这里也有个很有意思的问题。政府里当然有很多聪明人,这一届政府里其实就有不少。但也确实有很多人完全不知道自己在干什么,于是就会出现一些很荒唐的情况。比如这件事也许你们不方便说,那我来讲:按照我的理解,Anthropic 本来可以提供更强的网络安全能力,让人们用于防御,但后来为了让政府同意模型上线,把这些能力削弱了。我觉得这是个错误。

Nicholas Marwell: 我认为,他们是在尝试进入一种非常经典的美国式公私合作模式,而这种合作过去对美国一直非常重要。

美国的制度设计本来就不是要求政府必须在世界上每一个领域都成为最懂、最有能力的主体。我们真正应该建立的是一种优秀的公私合作关系,让政府知道怎样和 Anthropic、OpenAI、Meta,以及任何其他相关公司互动,真正理解技术,然后决定应该怎样监管、怎样保护公众利益。

主持人: 我认识的一些科技行业领导者会更加怀疑。他们会说:“Dario 只是在吓大家,好制造更多规则、拖慢整个行业,因为他最后会成为少数掌握整个流程的人之一。”你们怎么回答?

Sholto Douglas: 到目前为止,我们放慢自己的程度,远远超过我们拖慢任何其他人的程度。

事实上,你看看围绕 Demis 提案的讨论就很清楚。他提出让封闭模型提供商,包括 OpenAI、DeepMind、Anthropic,进行一定程度的协调,建立明确的安全阈值,即模型必须达到某些安全标准之后,才能发布。这本质上就是我们在讨论“因为自己的原则而放慢自己”。

开源、蒸馏:模型半年就贬值,万亿美元价值哪来?

Sholto Douglas: 至少从我个人来说,我们非常支持开源。我们真心认为,让开源存在于这个世界是一件非常好的事。我自己当年学习机器学习,就是靠开源模型学出来的。但我们同时也认为,这里面确实存在很多风险,而且未来风险会越来越大。

所以我们的立场基本是:应该设定一些阈值,决定社会整体到底愿意把多强的能力直接释放出去。比如,如果一个模型已经能够实施网络攻击,那么它强到什么程度时,社会还觉得可以直接公开?我们认为,无论封闭模型还是开源模型,都应该满足同样的安全门槛。除此之外,人们想怎么做,都应该有自由。

主持人: 但如果中国还是会不断把各种模型直接放出来,那这件事还有必要尝试吗?同样的,我们会不会因为害怕风险而把自己监管得过头,结果中国没有这么做,最后问题照样出现,甚至他们还领先了?

Sholto Douglas: 最理想的世界,当然是我们能够真正和中国合作,因为他们同样不希望自己的国家遭到网络攻击。

最理想的情况,还是双方能够在这类问题上合作。但这非常困难。未来几年最难处理的问题之一就是:AI 能力还会继续快速向前跑,而这种速度会因为很多不同的原因会让人越来越不舒服,生物风险、网络安全风险、就业风险,都会让社会产生反弹。你现在其实已经开始看到类似情况,比如要求叫停数据中心)建设之类的声音。

问题在于,一旦进入这种状态,“暂停”就会变得非常棘手。除非你能够和其他参与方真正协调,而且能够相信所有对手方都会遵守同样的暂停安排。

Sholto Douglas: 至少在任何我们能够接受的情形下,都不会出现“美国放慢、中国继续前进”这种结果。任何真正的“放慢”方案,都必须是完全协调的,而且我们必须能够真正信任每一个参与方都会遵守。基本不存在我们单独让美国放慢的情形。

主持人: 有一些所谓开源能力,看起来其实来自别人把你们的东西“偷”过去。这件事如果发生在我身上,我肯定会很恼火。这个过程通常叫蒸馏。很多人会问:既然你们自己的 AI 已经这么聪明,为什么不能监控所有使用行为,直接把蒸馏堵住?为什么你们现在还阻止不了?

Sholto Douglas: 这里其实有两个问题。一个是为什么我们反对蒸馏?蒸馏到底是好事还是坏事?另一个是如果你认为它不好,为什么你又阻止不了它?

先把第二个问题讲清楚。这本质上有点像猫鼠游戏。用户当然希望获得尽可能多的模型访问权限:他们希望检查输出,希望模型能在本地电脑上运行,希望看到思维轨迹等等。但你每多开放一点访问能力,蒸馏就会容易一点。所以这里天然存在一个问题:你的工具和产品到底能开放到什么程度,以及开放之后别人到底有多容易把模型蒸馏走。

Nicholas Marwell: 再说第一个问题:为什么我们会对蒸馏不满?我通常这样理解:我们希望 AI 继续向前进步,因为模型越来越聪明,会给世界带来很多好处,但蒸馏本身不是一种能够把你推进到下一代前沿的方法。它只能复制当前的前沿,不能把前沿继续往前推。

真正进入下一代前沿,需要巨额的前期资本投入。先别说今天,未来我们会进入这样的阶段:一次训练运行的成本可能是 100 亿、1000 亿,甚至 1 万亿美元。你之所以愿意支持这么大的研发投入,是因为训练完成以后,你还能把这个成果卖出去,通过商业回报覆盖前期成本。

但如果任何人都可以只花很小一部分成本,把你做出来的东西复制走,然后一两周内推出一个复制品,那他们在经济上反而会比你更有优势,因为他们完全不需要承担你那笔巨大的研发成本。所以,如果你真的希望前沿继续向前推进,就必须在一定程度上保护训练这些模型的人的知识产权和相应权利。

还有一点。很多人会把这件事和药物研发做类比。我反而觉得 AI 很有意思:保护模型不被蒸馏,能够获得很多类似药物知识产权保护的好处,却可以避免其中不少坏处。

主持人: 先说好处。美国之所以能做出更多新药,一个重要原因就是我们保护知识产权。很显然,如果新药研发完成后我完全赚不到钱,我就不会投资研发。

Nicholas Marwell: 没错。坏处则是因为这种保护,药物价格可能会非常高。但 AI 和药物不一样。药物研发里,知识产权保护可能持续十几年,甚至 20 年、30 年;AI 的情况完全不同,因为智能本身是一种极度通缩的东西,前沿能力的“保质期”往往只有几个月。

你可以想象,每隔 6 个月,最前沿的东西当然还是很贵,但 6 个月前还属于前沿的能力,已经会因为新一代前沿继续向前推进而变得极其便宜、极其普及。这很大程度上就是训练和技术进步方式本身带来的结果。所以我觉得,它保留了知识产权保护中很多有价值的部分,同时避开了过去一些制度里最糟糕的副作用。

而且你可以非常具体地看到这种趋势。比如 Artificial Analysis 上就有评测看板展示了同样的曲线:获得同等水平智能的成本,基本上每年会下降大约 10 倍。这种成本会一年又一年持续下降,是非常强的通缩效应。

Nicholas Marwell: 对,没有依靠蒸馏,只是技术自然进步本身带来的。

主持人: 当然。从直觉上讲,别人直接把你的成果复制走,本来就不公平。如果所有人都这么干,整个体系也会被破坏。不过也有人会说:“这本身不就是一种很疯狂的商业模式吗?你的产品半年、一年之后就过时了。”看起来 Anthropic 要赢,就必须不断把前沿往前推。

Nicholas Marwell: 对。而且我觉得,只有我们赢、前沿持续向前走,这个体系本身才成立。这是我们整体世界观里非常重要的一部分。

今天 AI 对全球经济的渗透,其实还非常少。所有 AI 公司的总收入,可能也就是 1000 亿美元以上,而全球经济是几十万亿美元规模。这还是假设全球经济不会因为这项技术而大幅增长的前提下,但我们认为它其实会显著增长。

所以你可以把这个市场想象成两条边界:稍微落后于前沿的那一侧,会不断商品化;但真正的领先边缘,价值反而会越来越大,而且是大得多。我们经常把它称作“智力的指数级经济回报”:每增加一个边际单位的智能,它所产生的价值,可能都比前一个单位呈指数级更高。实际上,我们已经看到这种事情发生了。

拿编程来说,最早对用户真正有用的那一点智能,其实只是 Tab 自动补全:你敲代码时,系统帮你补下一段;然后往上走一个边际单位,出现了 agentic coding,你可以直接在终端里通过 Claude Code 让智能体完成一整套任务。这个能力的价值,比简单自动补全高出了几个数量级。

所以,即使后面的 Tab 自动补全已经完全商品化,甚至现在很难再单独围绕“自动补全”做出一家大公司,也没有关系。因为下一层新增的智能单位,本身就极其有价值。

这件事几年前对我来说其实非常反直觉。因为作为一个生活在现实世界里的人,我对其他很多事的经验都是指数增长不会持续太久。我当时会想,“好,也许 AI 未来几年非常有价值,但指数曲线总有一天会停”。要相信它继续增长,其实要求你非常乐观:你得相信我们真的能从 Tab 自动补全走到智能体式编程;然后还要继续问,什么东西会比智能体式编程更有价值?也许是治愈癌症。再往前,你可能得到一个真正完整的软件工程师,比任何人类软件工程师都更强,而且成本极低;你还可以拥有一个帮助处理各种事务的“高管型”智能体。

所以人们经常担心“最后会不会一切都被商品化?”,但等你真的走到“完全商品化”几乎可能发生的那一天,整个经济本身已经被彻底改写了。那时,几乎整个经济都会由 AI 完成,包括智力劳动和物理劳动。

主持人: 而且那时的经济规模大概也会比今天大得多。如果 Anthropic 是推动这一切向前的公司,那它当然可能价值数万亿美元。

主持人: 好,那我们大家都发财了。开玩笑。显然,这里面还是有很多风险。你们当然也有很多担忧,但总体还是乐观的。那为什么还要这么快地推动这项技术向前?再提醒大家一次,你们到底为什么而战?

当一切都便宜到只剩能源成本,人还需要什么?

Sholto Douglas: 我们为什么担心这件事?因为我们最终会得到一种几乎可以直接替代人的系统:在人类能够通过电脑完成的所有事情上,它都可以做到和人类一样好;等机器人足够成熟之后,在物理世界里,它也可以做到人类能做的所有事情。

但同一件事也会解锁非常激进的正面提升。原本按照今天的人口规模和科研速度,可能需要未来几百年才能发展出来的技术,有机会被压缩到未来 10 年、20 年里完成。

主持人: 我其实已经在航空航天里看到一点这种迹象了。有些飞机设计工作的速度快了非常多。我感觉原本可能要到 2040 年代才能看到的先进飞机,未来几年也许就会出现,真的很酷。

Sholto Douglas: 对。所以你可以不断提高、甚至有可能让人类的智力生产能力和物理生产能力翻倍,最终真正进入一个后稀缺世界。在那种世界里,几乎所有东西的成本最终都会压缩到能源成本。建房子的成本也会越来越接近纯能源成本。

主持人: 你甚至可以跑到山里,盖一个 50 万平方英尺的东西,而且这都只是中产阶层消费。

Sholto Douglas: 没错。就像今天我们拥有的很多东西,对几百年前的国王来说都完全不可想象一样。

那会是一个我们治愈了所有疾病的世界,甚至很可能已经解决了衰老和寿命问题。也就是说,地球上的每个人都能获得一种今天连最富有的人都无法享有的丰裕程度。这就是我们想争取的世界。

但它同时非常棘手。第一,你得成功穿过通往那个世界的危险阶段;第二,你得解决一个极其重要的问题:那个世界产生的收益到底应该怎样分配?你不能让结果变成巨大的不平等,不能让所有回报只流向在旧世界里恰好已经拥有资本的人。我们希望的是,如果一个人愿意,他也能分享那种丰裕。

所以这里会出现一个非常大的社会和政治问题:我们到底应该怎样共享这项技术带来的收益?

主持人: 但也不能因为想象那个世界,就误以为我们今天已经到了那里,我们还远没有进入后稀缺世界。

Sholto Douglas: 对,我们离那里还很远。但如果我们以正确方式持续投资这些技术,确实有机会到达。

过去 4 到 5 年里,我们每年投入 AI 的算力规模大约都在翻 2 倍到 3 倍。今年,所有超大规模云服务商加在一起,与 AI 相关的资本支出大概已经接近 1 万亿美元。一个很有意思的问题就是:这条趋势还能不能继续?明年会不会变成 2 万亿美元?2028 年会不会变成 4 万亿美元?

如果大体保持这条趋势线,而且你还把更广泛的机器人产业也包括进去,那么到了 2030 年代早期,理论上可能会开始接近一种非常夸张的状态:人类的有效 GDP 能力开始翻倍。这个概念听起来当然有点疯狂,而且需要很多事情都顺利发生,但生产率增长确实可能开始真正加速。

主持人: 而且我感觉,生产率明显上升甚至不一定要等到 2030 年代,可能未来几年统计数据里就会越来越明显。Kevin Warsh 现在是美联储的新任主席。我不知道他算不算完全吃下“AGI 叙事”,但他现在对 AI 提升生产率这件事非常乐观。所以我觉得,我们很快就会更明显地看到这类变化。虽然说出来很疯狂,但它可能还会继续加速,而且比现在更快。

Sholto Douglas: 我最近看到一张挺有意思的图,是菲律宾的就业数据,结果就业反而上升了。

主持人: 这个确实让我意外。我之前以为业务流程外包(BPO)会在那里受到很大冲击。很多工作本来就是比较基础的呼叫中心之类。

Sholto Douglas: 但就业还在增长,而且软件工程就业也在增长。我觉得一个很重要的原因,就是人突然变得比以前高效得多。接下来值得观察的一条趋势就是这种“正向抬升”到底能持续多久。现在的情况很像 AI 让一个人能够做更多事,而世界上本来就还有太多事情没做,所以人和 AI 结合之后,企业反而需要更多人。

Nicholas Marwell: 至少短期看确实如此。但我觉得我们不能因此过度说服自己,觉得以后自然就一定没问题。这个过程会非常具有扰动性,也会有很大的波动。现在正处在一个可能相对不错的阶段。就像 Sholto 刚才说的,你的员工仍然是企业真正利用 AI 的重要组成部分。

所以现在发生的是:你得到了一种赋能技术,它让每一个员工都比以前更有价值,于是你反而愿意雇更多人。但在某一个时间点,我们的判断是:这个世界会从“你必须把一个人和一个 AI 模型配在一起,才能把价值全部释放出来”,转变成“不再需要那个人”的世界。到了那一步,我们才会真正开始非常担心后续的社会影响。

主持人: 这有点像国际象棋。过去差不多 30 年,最强的棋手往往是“人加机器”;后来机器直接把人碾过去了。只是你们认为在这里,这个过渡期会短得多。

Nicholas Marwell: 对。过去 3 年,或者更准确说过去 5 年,我对 AI 进展速度有一个很大的认知更新。

我最早开始认真思考 AI 的发展速度时,其实也相信我们最终会走到今天这个位置,或者走到我认为一年后会到的位置,只是我以为要花更长时间。我之所以认为会慢,主要是因为我觉得为了训练这些系统,扩充所需要的数据,会是一件极其耗时间、也极其烧钱的事。

但后来出现了一个即使在我当时已经非常激进的 AI 发展预期里,也没有料到的变化:Anthropic、OpenAI 这些公司的收入增长和业务规模扩张实在太快了。这突然让一个以前看起来完全不现实的做法变得可行:开发这些技术的人可以直接用巨量资金去砸开那些瓶颈,而且速度比我们原先想象得更快。

算力扩张就是一个很典型的例子。5 年前,大多数人根本不可能想象,全行业一年会为这件事投入 1 万亿美元。

主持人: 甚至 1 年前很多人都想象不到。这么看其实挺有意思。过去这些大型科技公司账上一直压着几千亿美元