如何设计一套经久耐用的 AI 服务框架

EXL 指出，企业 AI 的下一竞争优势不再是选哪个模型，而是围绕模型构建的服务框架，包括架构、内存管理、调度与推理优化。GPU 显存是关键瓶颈：模型权重固定，但 KV cache 随并发请求和上下文长度增长，显存可能先于算力耗尽。应围绕负载约束而非模型能力做架构决策，让模型更换成为评估与配置调整而非架构重建。