MarkTechPost· Asif Razzaq·· 3 小时前AI 评分63
清华与港中大开源 AKV：面向 LLM Agent 的 KV cache 工程化服务系统
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
AI 导读
清华大学与港中大的研究者开源了 AKV，一个基于 SGLang、采用 Apache-2.0 协议的 KV cache 工程服务系统。它在 3 个模型和 4 个 Agent 基准上平均降低成本 27.7%，平均任务得分提高 1.7 分。
来源：MarkTechPost · marktechpost.com