Zyphra 发布 Zyphra Hierarchical Attention（ZHA），一种围绕树结构索引器构建的稀疏注意力方法，使索引搜索本身也变为稀疏，目标是实现亚二次注意力。
该发布未附带优化后的内核；报道提到的加速效果来自按 H100 BF16 roofline 所做的建模估算，并非实测。据 MarkTechPost 报道，方法中基础模型保持冻结，仅参考查询参与训练。
这些条件决定了目前可确认的范围：加速数字是建模结果，尚无优化内核支撑，因此不能当作已在硬件上验证的性能提升。
AI 根据报道生成 · 2 小时前更新