跳到正文
  1. Artificial Analysis68

    Artificial Analysis 发布具身智能基准 AA-Robotics v0.1

    Artificial Analysis 推出 AA-Robotics v0.1,用八项具身操作任务评测前沿模型,每题满分 100 分,按完成度和部分进展计分。

    推荐理由:Artificial Analysis 首次把具身任务做成可比基准,并给出各模型在八项操作任务上的得分分布。

  2. Google Research62

    Google 发布地理空间推理智能体技术报告并开放早期访问

    Google 发布地理空间推理智能体的技术报告,在四个基准上对比四种配置,并新开源 GeoKTools 和 GeoExpertQueries 两个基准的开发集。

    推荐理由:技术报告给出四套基准与四种配置对比,量化了专用工具和前置规划对地理空间推理的提升。

  1. Artificial Analysis69

    Artificial Analysis 发布 Harvey LAB-AA v1.1,为法律智能体评测加入幻觉检查

    Artificial Analysis 发布 Harvey LAB-AA v1.1,在法律智能体评测中加入幻觉检查,将幻觉分为与来源矛盾、编造来源内容、无记录支持的具体断言三类,并区分重大与轻微,仅重大幻觉触发 Hallucination-Gated All-Pass Rate 的零分。

    推荐理由:Harvey LAB-AA v1.1 加入幻觉检查,并给出六个评审模型在同一子集上的对比数据,读者可据此了解法律智能体评测如何衡量幻觉。

  1. GitHub Blog · AI & ML60

    GitHub 发布 AI 代码审查开源基准 ReviewBench

    GitHub 发布代码审查开源基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。

    推荐理由:GitHub 公开了代码审查基准的数据构成与评分方法,读者可据此理解智能体代码审查的离线评测口径。

  1. Hugging Face Blog66

    Microsoft ThinkingBox:按数据库终态给 AI 智能体打分

    Microsoft 与 Hugging Face 联合发布 ThinkingBox,按智能体在隔离 MCP 会话中留下的数据库终态与副作用打分,而非看它生成的回答,已在 Hugging Face 开放框架与数据集。

    推荐理由:论文给出 507 个有状态业务流程各跑 20 次的一致性数据,可据此判断智能体可靠性的真实水位。

已经到底了