开源基准 Parsimony 上线，专门衡量 AI 模型解题时新增了多少代码。它按 coding units（语句、调用、比较、名称、字面量等语法元素）计数而非代码行数，并减去删除的代码，得出净增单元数。
该基准只测 Python，排除测试、文档和生成文件；通过与否直接采用 SWE-bench 已公布的结果，不重跑测试。所有模型统一使用 mini-SWE-agent，但该 agent 本身仍会影响写码量。
据其说明，现有基准只衡量解题率和成本，不惩罚多余代码，而多余代码长期会让代码库更难维护，Parsimony 正是为衡量 AI 模型新增代码量而设。
AI 根据报道生成 · 5 小时前更新