Latent Space·· 4 小时前精选AI 评分83
DeepSeek 开源 DeepInfer 推理栈，单集群日均 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer，报告单集群日均 155 万亿 token、96% 输入缓存命中，按错峰价格每加速器小时收入 38 美元。
推荐理由
原文梳理了 DeepInfer 的架构取舍、缓存设计和成本测算，也记录了 vLLM 复现与社区质疑。
来源：Latent Space · latent.space