AWS Machine Learning Blog· Sunita Nadampalli·· 3 小时前AI 评分43
vLLM 推出基于 push 的 KV 传输，分离式推理 TTFT 最高提升 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增 push 模式的 NIXL connector，将 KV 传输的协调与建立过程移出首 token 关键路径，在 Amazon EC2 P5en 集群的 1P1D 部署上运行 Qwen3-32B，TTFT 最高提升 3 倍、TPOT 最高改善 30%。该功能先在 AWS Trainium 集群上验证，后作为加速器无关特性贡献给 vLLM，GPU 集群同样受益。
来源：AWS Machine Learning Blog · aws.amazon.com