让Token生产更高效：异构混推的关键技术演进与创新实践
Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。
随之而来的，是AI基础设施面临的全新命题与挑战：当Token调用量迈向千倍级增长，推理系统如何承接持续攀升的需求？如何通过异构算力实现高效、稳定的Token生产？
在近日举办的“2026全球AI芯片峰会·Token工厂异构混训混推技术研讨会”上，商汤大装置资深技术专家罗伟以《Token工厂：以异构算力构建新一代Al基础设施》为主题发表演讲，深入剖析规模化推理面临的系统挑战，并分享 商汤大装置在异构推理架构、模型适配及关键技术演进等方面的实践与探索 。
01行业挑战：Agent时代，推理负载瓶颈贯穿整套系统 Agent时代的负载特征，和传统单轮对话的推理需求有明显不同。
首先是长上下文，带来了输入计算和KV Cache占用的持续增长；其次是连续多轮的对话，意味着前缀复用和热点不断变化；再者是突发与长尾需求多，意味着流量和长度的分布会持续波动。
罗伟表示，面对这些变化，商汤大装置的底层逻辑已经转向“以Token、状态与时延预算为中心”，所有设计都围绕Token的生产效率、交付质量与单位成本，进行资源的组织和利用。
这一以Token为中心的系统设计，也支撑商汤大装置持续提升规模化Token生产与服务能力。如今，商汤大装置的日均Token服务量，已经从年初2月的0.46万亿，增长至8月4.5万亿。
02创新实践：横向串资源、纵向拉效率，系统级提高Token产能 如何把单点效率组织成系统级Token产能？罗伟分享了商汤大装置的两条主线：“横向编排”与“纵向优化”。两条主线最终指向共同目标：模型质量达标、SLO达标、有效吞吐提升、单位产能成本下降。
所谓“横向编排”，目的是资源协同，让平台知道哪些模型、哪些版本能运行在哪些算力上，哪些Prefill与Decode组合能做KV Cache交接，当前请求应该进入哪条路径，负载变化时如何自动调整。
针对不同品牌、不同规格的算力，商汤大装置构建了统一的资源画像，覆盖计算吞吐、KV Cache的容量、有效带宽、模型兼容性等，让不同算力进入同一个编排视角。
在此基础上，平台对推理请求进行全生命周期管控。从准入配对、Prefill执行、KV Cache状态交接，到Decode接管，每一个环节都有标准化的协同机制，保障服务稳定性。
“我们不会把某一类芯片永久固定为P节点或D节点。”罗伟强调，平台会根据模型、批量、上下文长度的瓶颈变化，动态调整不同芯片的角色分工，实现更高的可用性、灵活的组合和配比。
在横向打通资源的同时，商汤大装置持续深化“模型×引擎×芯片”三层纵向优化，从模型适配到芯片运行时，充分释放整条执行路径的性能。
其中，在模型层，针对权重量化、显存预算进行精细化调优，平衡精度与吞吐；在引擎层，针对Attention、GEMM等核心算子进行并行优化；在芯片层，深度适配编译、访存调度与内存管理。而所有优化结果都会在真实负载中进行系统验证，规避单点效率的瓶颈。
03技术演进：从动态池化到模块拆分，持续提升Token生产效率
在成熟实践的基础上，罗伟进一步分享了异构协同走向更高效率、更高灵活性的两大关键技术演进方向。
在资源调度层面，商汤大装置正在从固定P/D配比走向动态资源池化。不同业务、不同时间段的输入输出长度和流量热点不断变化，静态P/D组合容易造成局部排队和资源错配。
为此，商汤大装置分别构建Prefill Pool和Decode Pool，根据实时负载、KV Cache状态及节点健康度，动态完成请求路由和P/D资源匹配。当长输入导致Prefill压力升高时，系统可动态增加P节点；当长输出推高Decode负载时，则增加D节点，甚至通过角色切换实现P/D节点灵活转换，让资源跟着负载动态调整，在保障SLA的同时提升整体算力利用效率。
面向未来多模态、MoE模型的发展，传统按P/D两阶段划分资源的方式将显现瓶颈。商汤大装置的架构演进方向，是进一步走向模块级资源池化：将Encoder、Attention、FFN、视觉编码等不同模块拆分为独立资源池，各自按负载特点弹性扩缩容，让资源匹配更精准、利用率更高。
演讲最后，罗伟表示，面向未来，作为“最懂大模型的AI基础设施”，商汤大装置将持续推动产品与技术迭代，与生态伙伴共同加速AI基础设施持续升级，推动普惠AI，智造美好未来。
GPT-6之后，具身智能走向何方？诺因发布GLOW技术报告，给出机器人“一教就会”的答案 2026-09-24
Stripe Tour 中国首秀：构建 AI 经济基础设施，赋能全球商业增长 2026-09-24
5分钟完成机器人纳管、10秒启动跨集群任务，清华大学联合无问芯穹开源具身智能云原生平台RLark 2026-09-24
海信新一代性能旗舰E7S Pro+正式发布，原生真彩再进阶 2026-09-24
相关阅读
市场份额No.1！商汤大装置位列中国原生AI云厂商榜首
老黄的Token经济学翻车了！微软亚马逊通通跳车
商汤科技日日新大模型亮相巴黎，中国AI共赴奥运之约
商汤科技CEO徐立：数字原住民决定元宇宙的未来
虽然元宇宙有着巨大的可能性和潜力，但是现在技术成熟度还尚待完善，需要更长的时间才能构建起庞大的基础设施。
商汤绝影王晓刚：未来一两年是智能汽车突破关键期，大模型是基础 | MEET2024
星际虫王IA退役2年搞AI，现在自叹不如了
热门文章
从“会回答”到“会办事”，vivo如何解AI手机这道题？
刚刚，唐杰发布智谱RSI首个成果
刚刚，Claude Code大重构！内部3万Agent管理技术免费开放
央企做了个通用Agent，直接杀进IDC实测前三！
AGI最难一战，竟在医院！中国AI登上Science，医生不怕失业还催着上线
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1