斯坦福与伯克利发布TokenGate长上下文预填充模块

斯坦福与加州大学伯克利分校的研究者发布 TokenGate，这是一个面向长上下文 prefill 的学习式 token 剪枝模块。团队称，在 Qwen3-1.7B 上，它带来 1.4 倍至 11.3 倍的 TTFT（首 token 延迟）加速，峰值显存降低 1.5 倍至 3.4 倍，且没有精度损失；这些效果均来自团队的上述说法。 代码和检查点已在 GitHub 以 Apache-2.0 许可发布。可选配的 FlashAttention-2 key-bias 内核用于加速密文 Qwen3；该内核的开销为普通调用的 1.0 至 1.1 倍，不启用时推理回退到 FlexAttention。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。