NVIDIA 发布技术博客，介绍在单台 DGX Spark 上加速 Ling-3.0-flash（124B 参数 MoE、5.1B 激活参数）推理的三种方法：Humming MXFP4 MoE kernel、加载时将 LM head 量化为 FP8，以及基于模型内置 NEXTN 层的 MTP 投机解码。NVIDIA 称三项优化合计使吞吐提升 42.5%。
这些优化有使用限制：基线采用官方 W4A8 配方，FP8 LM head 不能与基线的 --enable-fp32-lm-head 选项同时使用；FP8 LM head 与 MTP 同时开启时，draft 必须共享完整的 LM-head 模块。NVIDIA 建议在启动时检查每项优化是否生效。
AI 根据报道生成 · 58 分钟前更新