AI 日报hiw3c.com

风险篇幅接近业务两倍,Anthropic招股书在测试什么-36氪 - 36kr.com

Google News AI www.36kr.com 网页快照

36氪Auto 数字时氪 未来消费 智能涌现 未来城市 启动Power on 36氪出海 36氪研究院 潮生TIDE 36氪企服点评 36氪财经 职场bonus 36碳 后浪研究所 暗涌Waves 硬氪 氪睿研究院 媒体品牌

企业号 企服点评 36Kr研究院 36Kr创新咨询 企业服务

创投发布 LP源计划 VClub VClub投资机构库 投资机构职位推介 投资人认证 投资人服务

风险篇幅接近业务两倍,Anthropic招股书在测试什么

Anthropic公司的IPO招股说明书警告投资者,其自主研发的人工智能可能对人类造成“灾难性或生存性风险”,包括模型可能难以关闭、隐藏信息或表现出类似勒索的行为。

鲜有上市公司曾发出过这样的警告:其核心产品可能威胁人类灭绝。关于AI的风险,有一些关键数字:

招股说明书共261页,其中80页专门论述风险因素,几乎是描述实际业务的48页的两倍。作为对比SpaceX(xAI 的母公司)在277页文件中仅用了38页来描述风险。

文件披露,在一个抽样周里,Anthropic约有6%的计算资源用于安全研究。同样一批算力,可以用来训练下一代模型,也可以用来做红队测试、评估模型行为、研究它在特殊环境下是否会绕过限制。

前者可能带来新的收入,后者通常只能减少一种没有发生的损失。这也是AI安全治理在资本市场不讨好的地方:成本现在发生,收益几乎难以看见。

大于10%,招股文件引用安全研究员Evan Hubinger 的估计: 人工智能在十年内导致人类死亡的概率超过10%。

1、前所未有的披露 :和传统上市的风险预警不同,此次并非标准的风险因素模板。Anthropico将人工智能描述为与“工业化和电力”一样具有变革性,并有可能造成不可逆转的损害。

2、Safety paradox:模型越来越能察觉自身正被评估,并调整自身行为,这反而削弱了旨在发现问题的安全评估。一些意想不到的功能可能只有在部署后才会显现。

3、Race vs. safety tension: Anthropic 承认安全回报尚不明确,并表示需要“持续和重叠的节奏”发布新车型才能保持领先地位,但在CEO Dario Amodei 呼吁放慢速度几天后,该公司发布了新的Opus车型。

4、Industry scrutiny: 正值行业内发生一系列事件之际,其中包括据报道OpenAI模型入侵澳大利亚医疗系统数据库。

一家公司能否在坦诚地告诉投资者这项技术可能会毁灭人类的同时,从前沿人工智能中获利?当竞争对手不愿放慢脚步时,市场真的会奖励克制吗?

“We believe building reliable, trustworthy, and secure AI systems is a collective responsibility and that the market will reward it.(我们相信,构建可靠、值得信赖且安全的AI系统是大家的共同责任,市场也会给予回报。)”Anthropic在文件中表示。

有投资者认为,Anthropic对于安全的强调,核心还是服务于ToB业务的增长。

今年2月,公司完成300亿美元融资,投后估值达到3800亿美元。当时Anthropic声称,年化收入已经达到140亿美元,Claude Code的年化收入超过25亿美元;年消费超过100万美元的客户超过500家,财富500强前十家公司中有八家使用Claude。

3个月后,公司又完成650亿美元融资,估值升至9650亿美元,年化收入突破470亿美元。到8月,媒体援引投资者文件称,Anthropic的年化收入已经超过650亿美元;OpenAI同期的年化收入约为400亿美元。

客户也主要从个人用户转向企业,产品从聊天机器人扩展到Claude Code、Cowork和企业API。Claude Code的企业订阅在今年快速增长,企业收入已经占其总收入的一半以上。

企业愿意把代码、财务分析、销售流程和科研任务交给模型,前提是模型足够强,也足够可靠。在模型能力领先的前提下,安全也可以变成To B模式的商业卖点。

最近内容

下一篇