Momento 联合创始人 Khawaja Shams 在一场演讲中拆解了 LLM 推理的两个阶段：prefill 计算密集、处理输入提示词，decode 内存密集、逐 token 生成输出，首 token 延迟取决于 prefill 是否完成。他称 GPU 与数据中心供给跟不上需求，分布式系统工程师可通过提升 KV cache 等环节的利用率来改善推理的可用性、性能与成本。
他分享的实验基于一个 40 亿参数的模型，运行在 AWS 上按小时计费、每小时几美元的 G6 实例上。他还称 Anthropic 和 OpenAI 在缓存命中率达标时提供约 90% 的折扣。
AI 根据报道生成 · 42 分钟前更新