给万卡国产芯装个“超级外挂”!清华团队要造最强国产Token工厂
杰西卡 发自 凹非寺 量子位 | 公众号 QbitAI
这是中国日均Token调用量的增长规模。2024年初,这一调用量还是1000亿;到2026年6月时,已达到约500万亿。
Agent应用深入千行百业,模型能力不断突破,AI对算力的需求正在以前所未有的速度扩张。
由于众所周知的外部环境,非国产先进算力供应的不确定性持续存在,国产芯片正加速走向主场。市场研究机构TrendForce预测,2026年中国高端AI芯片市场中,国产方案的出货份额将 接近90% 。
毋庸置疑的一点是, 国芯国模,正在从重要的技术选择,成为中国AI产业必须掌握的基础能力 。
但这条主线上依然布满障碍。不同厂商的芯片对应不同的软件栈,模型适配与开发者生态仍在完善;设备上架后难以匹配真实流量,算力利用率不足……
更深层的矛盾在于,供给侧按卡数、机柜和峰值算力衡量资源,需求侧却按照有效Token产出、响应速度和服务质量采购。
一家出身清华系的AI基础设施企业—— 清昴智能 ,正尝试成为这中间的“翻译官”。
11月17日,清昴联合华为昇腾生态及多家产业伙伴,正式发起 昇腾950DT万卡级Token工厂联合运营计划 。
按照计划,清昴将以打造 国内规模最大的独立国产Token工厂为目标 ,将分散、异构的国产算力组织起来,通过RSI驱动的软件技术和运营体系,转化为 可计量、可验收、稳定交付的Token产能 。
未来五年,清昴还会进一步建设覆盖多地域、多芯片的十万卡级Token工厂网络,让国产芯片真正成为支撑大模型与Agent持续运行的生产力。
让分散的国产算力,汇成万卡级Token工厂
建设万卡级算力集群,解决的是 计算资源的规模问题 。而要让这些算力成为一座持续生产、稳定交付Token的工厂,还需要更完整的技术与运营体系。
除了芯片、机房和电力,Token的生产还涉及 模型适配、资源调度和真实业务需求 。这些能力和资源,通常分散在产业链上的不同企业手中。
按照最新公布的路线图,清昴计划于 2027年 推进昇腾950DT万卡级联合运营,建设 国内领先的独立国产Token工厂 。
他们还计划,未来五年,将这套体系扩展为 十万卡级别 自主可控的Token工厂网络,实现多地域、多芯片的统一调度与全国产算力供需匹配。
清昴智能作为生态组织者,承担中间的软件优化、集群调度、统一计量和联合运营工作,让分散的算力统一调度,再将最终产出的Token交付给客户。
四方围绕真实Token产出建立合作机制,通过服务质量协议(SLA)和统一计量体系,明确各自的投入、运营责任与收益分配。
芯片、机房和模型需求来自不同企业,但最终交付的是符合统一标准的Token服务。各方的合作,也由设备和资源的供给,进一步深入到生产与运营环节。
清昴公布的首批运营合作方,包括 北京智源人工智能研究院、上海数据港、中国电信湖北分公司、湖北大数据集团和北京国际算力服务有限公司 等。
截至目前,清昴已联合 20余家算力中心 开展运营,积累近 2万张国产卡 的调度经验,完成了15款以上国产芯片的适配优化,并推进了近10套昇腾910C超节点落地。
新一代硬件也有了落地进展。作为 华为首批950DT超节点合作伙伴 ,清昴披露,多套昇腾950算力已经落地武汉、芜湖等地机房,相关全栈适配与运营能力正在建设中。
这些跨芯片、跨中心的实践经验,也让清昴有机会通过昇腾950DT平台,将Token生产能力铺向更大的算力网络。
传统智算中心的扩张,往往伴随着大量芯片采购、机房建设和配套投资。企业投入多少资本,很大程度上决定了能够掌握多少计算资源。
清昴则通过联合运营参与Token生产,让算力服务的扩张不再完全依赖自有设备数量, 技术效率、资源组织和客户交付能力 的重要性随之提高。
不过,万卡规模只是基础。同样是一万张卡,模型适配效率不同、资源调度水平不同,最终能够交付的Token产量与质量往往相去甚远。
清昴智能创始人、首席执行官关超宇,提出了衡量Token工厂实力的核心验收标准: 多、快、好、省。
这四项标准最终指向同一个目标——在既定的服务质量下, 让有限的计算资源持续产出更多高质量Token 。
而在国产算力快速扩张的当下,要让一座万卡工厂真正高效运转,实际还有大量的工程难题横亘其间。
有卡不等于有高质量Token
模型一日千里,硬件却有自己的生长周期。一款芯片从规划、研发到发布,可能需要三年左右。但短短一年多,模型规模、上下文长度、推理方式及客户对响应速度的要求,就可能发生巨大变化。
更何况,国产算力正呈现多元化发展格局。不同芯片拥有不同的架构和软件栈,新模型投入使用,往往还需要经过兼容、算子调优和性能验证。
北京智源人工智能研究院副院长兼总工程师林咏华认为,国内已经拥有不少优秀的芯片团队,产业更需要完善的是 让不同硬件共享技术成果、协同发展的软件体系 。
所以,芯片的选择愈加丰富后, 模型与硬件之间的软件适配 ,就成为必须跨越的第一道关口。
真实业务里,长短请求大多混杂,并发量不断波动,Agent还会在复杂任务中反复调用模型,产生大量长上下文和缓存需求。
固定的模型部署与调度方案,很难始终匹配这样的负载变化。芯片即便完成部署,仍需要持续优化并行策略、缓存管理和资源分配,才能充分释放计算能力。
芯片厂商关注计算性能,算力中心关注卡数和资源利用率;真正购买模型服务的客户,却更加关心Token吞吐量、响应时延、服务稳定性和实际成本。
尤其是Agent应用,单次任务可能涉及多轮推理与工具调用,中间某个环节发生故障,就会影响整个流程。
看似便宜的Token,如果频繁引发任务失败或反复调用,最终的业务成本可能反而更高。
模型适配决定芯片能否高效运行,资源调度影响已有算力能够释放多少性能,服务质量则关系到Token能否真正进入企业生产。
其中任何一个环节存在短板,最终都将反映在 Token的产量、成本和交付质量 上。
一座成熟的Token工厂,需要将这些原本分散的工程能力组织起来,让每一张芯片产生的计算能力,最终变成稳定、可预期的Token产出。
让万卡持续变强,清昴押注RSI
大型云厂商已经将Token服务纳入AI基础设施布局。它们拥有庞大的算力资源、客户网络和成熟的服务体系,部分企业还将自研芯片、基础模型与应用流量组织在同一生态内。
另一边,很多独立企业也在围绕高性能推理、异构算力调度和模型服务拓展市场,依靠底层效率与跨平台能力参与竞争。
而要在这场竞争中立足,清昴必须凭借软件优化与专业化运营,让分散在不同企业手中的国产算力创造更高的实际产出。
关超宇在清华大学研究自动机器学习,曾带队研发自动图学习开源项目AutoGL;姚航曾在华为担任资深工程师,带队研发IC硬件,长期专注国产芯片适配。
清昴的创始团队成员也大多来自 清华大学计算机系 ,在自动机器学习、模型压缩和边缘计算等方向拥有技术积累。
最初,清昴致力于提高AI模型在不同芯片上的运行效率。国产芯片与大模型加速发展后,这项研究逐渐扩展到更大规模的算力集群。2024年,华为旗下哈勃投资入股清昴,公司业务也进一步向国产算力优化延伸。
但随着集群规模的扩大,整体效能和稳定交付又成了新的挑战。清昴的技术体系随之扩展,逐渐形成两套核心软件。
MLGuider推理引擎 负责优化模型在底层硬件上的计算效率; 玄武智算云 则将不同芯片与算力中心纳入统一管理,承担资源调度、运行监控和Token计量等工作。
真实业务请求进入工厂后,需要先匹配合适的计算资源,再通过高效推理生成Token,最终按照客户要求完成计量与交付。整个过程中,资源利用率、响应速度和服务稳定性,都直接影响最终产能。
智能网关 负责请求分配, 多级KV Cache 减少重复计算; 算子加速与分布式并行 提高推理效率和集群吞吐; 稳定性运维 保障持续交付, RSI自进化优化 则让运行中积累的经验得到复用,推动整套系统不断改进。
原本服务于模型部署和算力优化的技术,如今被进一步应用到Token生产与运营之中。而这些能力也在沿着请求的流向依次发挥作用。
Agent应用涉及大量长上下文和连续调用,不同请求对计算资源的需求差异明显。清昴通过 智能网关动态分配算力 ,并利用 四级KV Cache复用已有计算结果 ,减少重复运算。
据公司披露,相关场景的缓存命中率最高达到 99% ,算力利用率曾由 30%~40%提升至约80% ,重复计算与闲置资源问题得到了明显改善。
也就是说,同样一批芯片,可以承接更多真实业务请求,算力中心无需完全依靠增加设备来扩大服务能力,也为降低Token生产的综合成本创造了空间。
相比单个算子的性能变化,集群吞吐和响应时延更接近客户能够感受到的服务能力。前者意味着同等时间内可以处理更多Token,后者则反映出高延迟请求的等待时间得到改善。
清昴通过底层算子和分布式并行优化,在相关测试中将特定MoE算子的执行性能提升84倍,Linear Attention算子性能提升63.4倍。
集群层面,每分钟Token吞吐量由 4000万提升至1.4亿 ,P99首Token时延由 180秒缩短至40秒 。
对于需要连续调用模型的Agent应用,稳定性直接关系到Token服务的实际使用成本,这也是工厂能够进入企业生产环境的重要前提。
为此,清昴建立了覆盖运行监控、故障隔离和业务恢复的运维体系,尽可能保障 99.99%的服务可用性 。
这些技术共同作用于Token生产的吞吐、响应、稳定性和成本控制,对应的正是清昴提出的“多快好省”标准。
面对数万张芯片、大量不同的模型组合,以及业务负载的变化,如果还要依靠传统方法,让工程师反复调试完成优化,成本与难度都会暴增。
清昴为此将 RSI自进化技术 引入了Token工厂,尝试 “用AI优化AI” ,让AI参与优化支撑自身运行的计算系统。
目前,这套系统已积累数万条优化轨迹,支持新算子小时级开发验证、新模型天级适配上线。
这意味着,新模型和新硬件接入时,部分原本需要工程师重复完成的工作,有机会借助已有经验更快完成。模型适配与优化周期的缩短,也有助于减少新算力投入使用之前的等待时间。
清昴早期在自动化优化领域的积累,也由此延伸到了大规模基础设施运营中,随着Token工厂的运营网络扩大而进一步释放。
而且联合运营网络,让清昴得以进入更多合作伙伴的算力中心。不同芯片、模型和实际业务产生的运行数据,又反过来为RSI系统提供更多优化经验,进一步改善Token生产效率。
底层连接多地域、多芯片的计算资源,上层承接大模型、Agent及行业应用的真实需求,中间通过推理优化、统一调度和持续运营,将分散的算力转化为稳定、可扩容的Token供给。
随着国产芯片供给持续扩大、模型能力不断突破,新的软件体系、运营服务和商业协作机制正在形成。 国芯国模的竞争,开始深入整个产业体系的组织与运行。
每一代芯片的进步、每一款模型的突破,都需要成熟的软件体系和产业协作承接,让技术成果沉淀为持续、稳定的供给能力。
国芯国模的崛起,终究要超越单个产品的技术突破,形成一套自主运转、自我进化的产业体系。
只有将芯片、模型与生产体系牢牢掌握在自己手中,中国AI才能真正按照自己的节奏向前。
绿电进Token出!联想重新定义词元工厂 2026-11-14
余承东发布新款问界M8:38万元起售,全系预埋L3架构 2026-11-16
中国机器人学会隔墙“递眼色”!成功率从0飙到100%,组队干活不烧心 2026-11-13
相关阅读
AI Infra进入自进化时代!清华团队AI优化AI造就国产万亿Token工厂
热门文章
突发!DeepSeek开放全家桶API
阿里正式发布Qwen4,智能体及编程能力进阶,迈向真实全场景
英伟达上演“奥特曼2.0”,员工集体请愿:让老黄回家!
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
黄仁勋辞职,英伟达33年首换帅,市值蒸发超3万亿
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1