Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。
在现有 Transformer 架构之上寻找其他扩展维度，是上海交通大学人工智能学院教授严骏驰，在前不久的CNCC 2026演讲中分享的研究思路。
在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。
严骏驰也讨论了这些方法的实际限制：小规模实验中的优势能否在更大规模上保持，训练算力的节省如何与推理延迟、访存开销相权衡，以及系统工程如何影响架构创新的效果。
今天分享的是我们在大模型新架构方面的一些探索。把它称为“新架构”，可能有一点夸大，实际上主要是在现有架构上做调整和改进。
为什么没有直接去做颠覆性的架构？一方面，我们没有那么多算力和能力；另一方面，即使把架构大幅修改，也未必能在工业界真正用起来。现在从底层硬件、驱动、算子，到上层模型软件，整个生态都沿着 Transformer 展开。改动太大，生态适配就会面临困难。
所以，我们希望先做一些有限的改动，观察它们是否有效，为工业界后续更大幅度的创新提供前期探索。
一是增加参数、加深模型，但训练会更困难，因此需要残差连接、超连接等通路帮助信息传播；
这三条路对高校都不算友好，因此，我们希望在 Transformer 的基本框架上探索不同的扩展维度。
这里有一个原则，就是尽量保持简单。加入很多人为设计的先验或技巧，可能在小规模模型上有效，但当参数和数据规模扩大后，优势就被吞掉了。我们要关注的是，这些改动能否随着规模扩大，持续发挥作用。
前者沿 token 对应的参数表扩展容量，后者沿残差流维度扩展容量。它们都尝试把新增容量放到主干的大规模矩阵乘法之外。
JTok 的思路很简单：在 Transformer 主干旁边增加一条分支，为每个 token 配置可学习的向量，按照 token 的编号查表，取出向量，再通过逐元素运算调制这一层的前馈网络更新。
例如，一个 token 有自己的编号，我们就可以直接用编号找到对应向量。向量中的元素是新增参数，可以通过梯度反向传播更新。这样就能引入较多参数，同时避免为这些新增参数再进行大规模矩阵乘法。
这里扩展的是 token 对应的可学习参数表。参数量虽然增加了，但调用方式比较便宜：查表、归一化，再做逐元素乘法。旁路还可以与主干并行计算，不必等主干算完后才开始，因此从推理实现上看比较友好。
具体来说，取出的向量先经过归一化，再通过可学习的逐维缩放产生调制信号。门控作用在前馈网络的残差增量上，之后再加回主干。这些操作比较简单，也便于保留原来的主干计算。
我们还借鉴了混合专家模型的思路，提出 JTok-M：在查表之外加入路由，动态选择部分分支参与计算。这会增加一些复杂性，但也能进一步改善模型效果。
判断这种扩展是否有价值，不能只看训练初期下降得快不快。很多架构改进在前几个训练阶段看起来很好，损失曲线更陡，但随着训练数据增加，几条曲线最后合到了一起，早期优势就消失了。我们自己也遇到过这样的情况。
因此，一个重要问题是：当模型和数据规模继续扩大时，收益还能不能保持？这也是工业界非常关心的事情。
我们在不同规模的稠密模型和 MoE 模型上进行了实验。报告展示的结果中，JTok 的损失曲线持续低于底座；在两个 MoE 底座上，JTok-M 又进一步优于 JTok。这种差距在训练后期没有消失，说明它的收益不只体现在初期收敛速度上。
除了损失，还要看下游任务。预训练损失降低是一方面，模型能否在实际任务中表现更好，是另一个方面。我们的工作本质上是预训练方法，也需要通过下游评测和微调，检验它是否真正有用。实验中，多个任务出现了比较明显的提升，有些任务的改善比单看损失更突出。
我们还用规模定律的方式考察它的收益。通常，训练损失与参与计算的参数量、训练 token 数有关，训练算力可以近似看作这两者乘积的若干倍。在固定算力预算下，模型大小与训练数据量之间需要权衡。
IsoFLOPs 方法是在每个算力预算下扫描不同的模型大小，找到损失最低的配置，再把各个预算下的最低点连接起来，得到算力最优前沿。比较两种架构，就可以比较它们的前沿位置。
在 MoE 实验中，底座与 JTok-M 的前沿在对数坐标下都呈现很强的线性关系，两条拟合线的斜率接近，JTok-M 的前沿整体下移。同一算力预算下，损失稳定降低约 2.2%；达到同样损失时，JTok-M 所需训练算力约为底座的 65%，也就是节省约 35%。
不过，这些规模定律目前主要还是经验公式，不能把它们理解成已经有了完整的理论解释。
这项工作也有明显的不足。虽然训练端能够节省算力，但在我们的工程实现中，推理延迟仍增加了约 7%。对于大规模商业应用，这可能是很大的代价。尤其是预训练技术越来越成熟后，大家会更加关注模型上线后的推理成本。
另外，新增参数表也会带来存储和带宽压力。我们在内存、显存占用等方面做了工程处理，但仍有优化空间。现在做大模型，基础设施非常重要：算法想法再好，如果底层系统支撑不好，很多想法也难以有效验证。
第二项工作是 xHC，也就是 Expanded Hyper-Connections。我个人觉得，这个方向可能还有更大的空间。
标准的残差连接，是给网络增加一条跳过子层的通路。Hyper-Connections，也就是 HC，在这个基础上引入可学习的映射，并把残差流扩展成多路，让信息更充分地流动。
但这一系列工作有一个值得追问的细节：通常都采用四路残差流。为什么是四路？为什么不是两路、八路，或者更多？这个扩展维度本身，还需要进一步研究。
这里先介绍 mHC。随着模型规模变大，使用超连接结构时，训练可能发生震荡甚至不收敛。mHC 的思路是对映射矩阵施加约束，使其成为双随机矩阵，也就是每行、每列的元素之和都为 1。它通过 Sinkhorn 操作，交替对行、列进行归一化，帮助改善训练稳定性。
但即使有了这样的约束，残差流也不是越多越好。我们的观察是，mHC 从两路增加到四路时，收益比较明显；从四路增加到八路，收益就小了。继续增加到十六路、三十二路，开销会很高，投入产出比却不理想。
第一个是信息冗余。新增通路中的更新存在很强的相关性，注入信息的有效维度受到限制。通路看起来增加了，但并没有带来同等程度的信息多样性，因而扩展收益逐渐减弱。
第二个是计算开销。相关映射生成的代价随通路数呈立方级增长，从四路增加到十六路，成本差别就很大。如果收益又越来越小，这样的扩展就不划算。
xHC 的一个设计，是沿 token 序列做时序特征增强，让更新能够利用更多信息。具体来说，在 MLP 输出后引入多尺度因果卷积，形成多个增强分量，让不同残差流能够组合这些分量，提高更新的多样性。
另一个关键设计是“稠密读取、稀疏写回”。以默认配置为例，我们把残差流扩展到十六路，每一层读取全部十六路的信息，但只激活四路参与残差混合和写回。其中两路固定激活，另外两路由路由器动态选择；未激活的流继续传向下一层。
为什么读取要保持稠密？如果读取也稀疏，上一层刚更新的信息，下一层可能读不到，跨层的信息传播就可能被切断。让读取覆盖全部残差流，同时只更新其中一部分，才能兼顾信息流通和计算代价。
在这个设计下，相关映射只基于激活的流生成，主要计算代价由激活数量决定，而不必随着全部残差流数量一起立方增长。读取与写回之间的非对称设计，是保持扩展收益、控制成本的关键。
实验表明，这样的扩展可以带来持续收益。即使残差流增加到十六路，xHC 的损失仍能有效下降，新增计算量则相对有限。报告中的训练曲线显示，这种优势能够在较长训练过程中保持。
在下游评测中，18B MoE 模型的平均分由 mHC 的 44.8 提升到 xHC 的 48.8；28B 模型则由 50.5 提升到 53.6。在报告对应的规模定律实验中，达到相同损失，xHC 相对标准 Transformer 节省约 33% 的训练算力，相对 mHC 节省约 16%。
当然，残差流变宽仍有访存代价。我们做了稀疏化、Flash 版本和算子融合等工程优化，尽量降低开销，但十六路 xHC 的访存量仍高于四路 mHC。完成算子融合等优化后，相比 mHC，吞吐性能的额外开销约为 1.3%。这让它在实际应用中更有可能被接受，但也仍有进一步优化的空间。
这两项工作，都是在现有架构上寻找不同的扩展维度。JTok 增加按 token 编号索引的参数表，xHC 增加模型逐层携带的残差状态宽度。它们各自面临的系统约束也不同：前者主要是参数表的存储和读取带宽，后者主要是各子层的访存量。
对高校来说，直接和工业界比较数据量、算力规模很困难，探索新的容量扩展方式，是值得做的事情。但架构设计仍然需要大规模实验和系统工程支撑，既要看训练收益，也要看真实任务表现及部署成本。
接下来，一个自然的方向是把这两项工作结合起来。它们作用于不同维度，具有一定的正交性。我们也在探索其他架构，希望有兴趣的同行一起参与。
国际机器人顶会 CoRL 2026 即将召开，欢迎参会的研究者、学生，以及关注 AI 前沿进展 的读者加入我们的交流群。
在这里，你可以认识同行、交流研究，分享 招生信息、科研合作、约饭、投稿、组队参会 等， 寻找潜在的合作伙伴 。
大会期间，我们也会持续带来 现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华 。
? 进群传送门： 扫码进群或添加微信 szhsn610 ， 备注：CoRL+单位/学校+姓名+方向。
未经「GAIR DAO」授权，严禁以任何方式在网页、论坛、社区进行转载！ 公众号转载请先在「GAIR DAO」后台留言取得授权，转载时需标注来源并插入本公众号名片。
追觅科技亮相2026世界互联网大会人工智能嘉年华，以 ...
独家丨元环智能获数亿元融资：用「元模型」让 AI长出 ...
宾大茅佳源：从单次演示到 83% 真机泛化，破解具身智能数据困局｜IROS 2026
模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026
Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026
王友清教授团队论文被ACM MM 2026录用｜ACM MM 2026
华中师大 CoReFuse-Med：先净化再融合，让低质模态不再拖后腿｜ACM MM 2026
宾大茅佳源：从单次演示到 83% 真机泛化，破解具身智能数据困局｜IROS 2026
JEPA、空间智能路线正面交锋：WorldArena 2.0 挑战赛开考「能不能被机器人真正用起来」| IROS 2026