MarkTechPost· Asif Razzaq·· 4 小时前AI 评分55
NVIDIA 分享 DGX Spark 上加速 MoE 推理的三种方法，Ling-3.0-flash 吞吐提升 42.5%
NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
AI 导读
NVIDIA 技术博客展示在单台 DGX Spark 上加速 Ling-3.0-flash（124B 参数 MoE、5.1B 激活参数）推理的三种优化：Humming MXFP4 MoE kernel、加载时将 LM head 量化为 FP8、以及基于模型内置 NEXTN 层的 MTP 投机解码。
来源：MarkTechPost · marktechpost.com