跳到正文
MarkTechPost· Asif Razzaq·· 4 小时前AI 评分60

Polymathic AI 与普林斯顿研究人员发布 FlashMap,实现 LLM 解码最高 6.14 倍加速

Polymathic AI and Princeton Researchers Release FlashMap, a Flow Map Drafter for 6.14x Faster LLM Decoding

AI 导读

Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究人员发布投机解码草稿器 FlashMap,用连续流图替代离散扩散草稿器,一次前向传播草拟 16 个 token 且块内保持一致。

来源:MarkTechPost · marktechpost.com

继续探索 AI