雷峰网·· 7 小时前AI 评分38
严骏驰团队提出 JTok 与 xHC:在 Transformer 架构上寻找新的扩展维度
Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026
AI 导读
上海交通大学严骏驰团队在 CNCC 2026 报告中介绍两项 Transformer 架构改进:JTok 为每个 token 引入可学习参数表,通过查表与逐元素运算扩展容量,在 MoE 实验中达到同等损失所需训练算力约为底座的 65%,节省约 35%,但推理延迟增加约 7%。
来源:雷峰网 · leiphone.com