上海交通大学严骏驰团队在 CNCC 2026 报告《大模型新架构探索：JTok & xHC》中介绍两项 Transformer 架构改进。JTok 为每个 token 引入可学习参数表，通过查表与逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。
严骏驰称，JTok 在 MoE 实验中达到同等损失所需训练算力约为底座的 65%，节省约 35%，但其工程实现中推理延迟增加约 7%。xHC 方面，十六路 xHC 的访存量仍高于四路 mHC；完成算子融合等优化后，相比 mHC 吞吐性能的额外开销约为 1.3%。
AI 根据报道生成 · 3 小时前更新