MarkTechPost· Asif Razzaq·· 5 小时前AI 评分41
Stanford 与 UC Berkeley 推出 TokenGate：token 门控注意力让长上下文 prefill 最快提升 11.3 倍
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
AI 导读
Stanford 与 UC Berkeley 研究者发布 TokenGate，一种为长上下文 prefill 设计的学习式 token 剪枝模块，在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速，峰值显存降低 1.5x 至 3.4x，且无精度损失。
来源：MarkTechPost · marktechpost.com