AWS 公布了针对混合专家（MoE）模型融合内核的工程优化，在 NVIDIA Hopper 架构上解决 MoE 解码阶段 batch 过小导致 WGMMA 利用率低的问题。其做法是 Swap-AB，把专家输出维度（N=8192）提升为矩阵乘法的首操作数，从而改善小 batch 下的计算效率。
AWS 称该优化在 H200 上为大型 MoE 模型带来 2–4% 的端到端输出吞吐提升，已合入 vLLM，并应用于 Amazon SageMaker AI 上的 LMI 深度学习容器。由于报道中同时出现“vLLM 0.24.0 及更高版本可用”和“vLLM 0.22.0 及更高版本可用”两种说法，具体起始版本仍需以官方说明为准。
AI 根据报道生成 · 1 天前更新