vLLM Semantic Router 团队发布 d3-ultra,一个 26.09B 参数、Apache-2.0 许可的多模态决策模型。它不生成文本,而是单次读取输入后为每个问题返回概率,支持 Choice、Yes/No、Score、Box、Track 五类问题。
使用方式上,模型卡称 decision.vllm-sr.ai 以免费密钥提供 d3-ultra 的 API;引擎侧可通过 vllm-sr serve -e vllm-sr/d3-ultra 调用,该支持于 2026 年 10 月 25 日随 PR #5449 加入。模型在单张 AMD Instinct MI325X 上以 BF16 权重测试,目前未列出官方量化版本。超过 131,072 token 的问题会以 max_length_exceeded 失败,不做静默截断。
AI 根据报道生成 · 1 小时前更新