Google 团队在 PyTorch Conference North America 上发布了分布式推理栈 llm-d 1.0，这是该项目首个稳定版本，它把 vLLM 或 SGLang 模型服务器整合为一个 Kubernetes 原生池。该项目于 2026 年 3 月 12 日被接纳为 CNCF Sandbox 项目，采用 Apache 2.0 许可。
在 Google Cloud 上，GKE Inference Gateway 以托管服务的形式运行 llm-d 路由器。Google 团队建议分阶段部署，先在一个现有的 vLLM 部署之前加上前缀感知路由。
AI 根据报道生成 · 1 小时前更新