GitHub 发布 AI 代码审查开源基准 ReviewBench
GitHub 发布代码审查开源基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由:GitHub 公开了代码审查基准的数据构成与评分方法,读者可据此理解智能体代码审查的离线评测口径。
GitHub 发布代码审查开源基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由:GitHub 公开了代码审查基准的数据构成与评分方法,读者可据此理解智能体代码审查的离线评测口径。
Microsoft 与 Hugging Face 联合发布 ThinkingBox,按智能体在隔离 MCP 会话中留下的数据库终态与副作用打分,而非看它生成的回答,已在 Hugging Face 开放框架与数据集。
推荐理由:论文给出 507 个有状态业务流程各跑 20 次的一致性数据,可据此判断智能体可靠性的真实水位。
Microsoft Research 发布 Quine,一个面向生物学复杂性的 AI 研究系统,包含跨序列、结构、功能、细胞状态和成像等模态联合训练的生物世界模型,以及连接模型、科学工具、文献与研究者的交互 harness。
推荐理由:微软研究院公开 Quine 的多模态世界模型设计,并给出胰腺癌化合物筛选的湿实验验证案例,可了解 AI 参与生物实验设计的当前路径。