Parsimony:衡量 AI 模型写多少代码的开源基准
开源基准 Parsimony 上线,专门衡量 AI 模型在解题时新增了多少代码,以 coding units(语句、调用、比较、名称、字面量等语法元素)计数而非行数,并减去删除的代码,得出净增单元数。
开源基准 Parsimony 上线,专门衡量 AI 模型在解题时新增了多少代码,以 coding units(语句、调用、比较、名称、字面量等语法元素)计数而非行数,并减去删除的代码,得出净增单元数。
Artificial Analysis 上线由 Cognition 构建的编码基准 FrontierCode 1.1,通过维护者是否愿意合并改动来评测智能体,并考核过度修改、越界改文件等行为。
哈佛大学研究人员 Fiona Chen 和 James Stratton 利用 Jellyfish 的聚合分析数据,考察 2021 年至 2026 年 3 月间 700 多家软件开发企业、超过 70 万名员工、3 亿条工作事件,发现人类代码审查成为 AI 编码工具整体效率的显著瓶颈。
GitHub 发布代码审查开源基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由:GitHub 公开了代码审查基准的数据构成与评分方法,读者可据此理解智能体代码审查的离线评测口径。