跳到正文
Hugging Face Blog·· 2 小时前精选AI 评分62

VocabX 论文预览:专业化 SLM 词表可将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在 Hugging Face 博客预览即将发布的 VocabX 论文,提出按 token 成本而非频率重建领域专用词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上实测推理成本降低 77.0%,响应从平均 350 token 降至 101 token,bench 分数从 0.703 升至 0.810。

推荐理由

VocabX 论文预览展示了按 token 成本而非频率重建词表的方法,读者可了解词表层面对小模型推理成本的影响。

来源:Hugging Face Blog · huggingface.co

继续探索 AI