MarkTechPost· Asif Razzaq·· 4 小时前AI 评分69
Google Cloud 发布 llm-d 1.0，为 TPU 和 GPU 集群带来缓存感知路由
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI 导读
Google 团队在 PyTorch Conference North America 上发布分布式推理栈 llm-d 1.0，这是该项目首个稳定版本，把 vLLM 或 SGLang 模型服务器整合为一个 Kubernetes 原生池。
来源：MarkTechPost · marktechpost.com