Liu 与 Han 发布研究称，在编码智能体测试中更换 harness（智能体框架）带来的成绩波动，与同一配置重跑相当，而更换模型带来的差异明显更大。
研究用 5 个模型、3 套 harness（Claude Code、OpenCode、mini-SWE-agent）在 SWE-bench Verified 的 45 道最难题及 447 道题池上测试：换 harness 与重跑的任务级翻转率均为 13%，换模型则为 22%。所有运行均离线进行；闭源顶级模型 Opus 5 只在 Claude Code 中运行。
研究结论指向：更精巧、更贵的 harness 并未带来更强表现，数据与分析脚本已在 GitHub 公开。
AI 根据报道生成 · 1 小时前更新