MarkTechPost 发布了一份 Underdog Saluki 27B 的部署与工具调用实测教程。该模型是 Qwen3.8-27B 的 7.9 GB 量化版本,其制作者称它在约 2-bit 每权重下仍保持工具调用能力,并在自建的 120 项基准上略胜完整的 54 GB 模型。
教程在 Linux 的 NVIDIA GPU 或 Apple 芯片 Mac 上运行,把每个任务作为 OpenAI 工具请求发送,使用 BFCL 自带函数转换,关闭思考并采用贪心解码。由于 Underdog Bench 的 120 项任务未公开,教程自行从 BFCL v4 的五个类别中各取 24 项、固定随机种子构建测试集。
教程同时指出,样本量小、贪心解码且只跑一次,单个 notebook 能得出的结论有限,置信区间与分数同样重要。
AI 根据报道生成 · 2 小时前更新