大规模 LLM 服务中的隐藏优势：KV Cache 如何提升推理利用率

Momento 联合创始人 Khawaja Shams 在演讲中拆解 LLM 推理的两个阶段：prefill 阶段计算密集、负责处理输入提示词，decode 阶段内存密集、负责逐 token 生成输出，而首 token 延迟取决于 prefill 是否完成。他指出 GPU 与数据中心供给跟不上需求，分布式系统工程师可通过提升 KV cache 等环节的利用率来改善推理的可用性、性能与成本。