Datalab 发布 OmniParseBench:16,288 道判断题的开源 OCR 基准,Gemini 3.8 Flash 登顶
Datalab 发布开源文档解析基准 OmniParseBench,用 16,288 道 yes/no 测试覆盖 2,937 页、2,343 份文档和 92 种语言,数据集与代码公开。
Datalab 发布开源文档解析基准 OmniParseBench,用 16,288 道 yes/no 测试覆盖 2,937 页、2,343 份文档和 92 种语言,数据集与代码公开。
Artificial Analysis 推出 AA-Robotics v0.1,用八项具身操作任务评测前沿模型,每题满分 100 分,按完成度和部分进展计分。
推荐理由:Artificial Analysis 首次把具身任务做成可比基准,并给出各模型在八项操作任务上的得分分布。
Google 发布地理空间推理智能体的技术报告,在四个基准上对比四种配置,并新开源 GeoKTools 和 GeoExpertQueries 两个基准的开发集。
推荐理由:技术报告给出四套基准与四种配置对比,量化了专用工具和前置规划对地理空间推理的提升。
White Circle 在预印本中披露,使用现成工具和 API 调用,其 RISE 攻击方法可绕过 DALL·E 3、Google Nano Banana 2 和 GPT-Image-2 的安全过滤,约 13% 的请求能生成露骨内容。
开源基准 Parsimony 上线,专门衡量 AI 模型在解题时新增了多少代码,以 coding units(语句、调用、比较、名称、字面量等语法元素)计数而非行数,并减去删除的代码,得出净增单元数。
微软研究院推出 StudentSim,一个从公开去标识化学习记录中训练个性化 AI 学生模拟器的研究系统,用于在接触真实学习者之前评估和改进 AI 辅导工具。该研究同时提出 StudentSimEval 基准,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、英语二语写作和数学三个领域,StudentSim 在这些领域均优于主流基线,并为训练 AI 导师提供了有效反馈信号。
Artificial Analysis 发布 AA-3D v1.0,一个用于评测 AI 模型构建交互式 3D 体验能力的基准测试,并同步上线排行榜。该基准还公开了单个场景的构建成本,并展示了一次 agent 运行的内部过程。官方表示,新模型发布后将持续加入 AA-3D 排行榜。
Artificial Analysis 上线由 Cognition 构建的编码基准 FrontierCode 1.1,通过维护者是否愿意合并改动来评测智能体,并考核过度修改、越界改文件等行为。
Artificial Analysis 发布 Harvey LAB-AA v1.1,在法律智能体评测中加入幻觉检查,将幻觉分为与来源矛盾、编造来源内容、无记录支持的具体断言三类,并区分重大与轻微,仅重大幻觉触发 Hallucination-Gated All-Pass Rate 的零分。
推荐理由:Harvey LAB-AA v1.1 加入幻觉检查,并给出六个评审模型在同一子集上的对比数据,读者可据此了解法律智能体评测如何衡量幻觉。
Artificial Analysis 将其 Cyber Index 排行榜扩展到受限访问模型,首个纳入的是仅通过 OpenAI Daybreak 计划开放的 GPT-6 Sol (Daybreak Blue, max),该模型登顶指数并位于成本与能力帕累托前沿。
GitHub 发布代码审查开源基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由:GitHub 公开了代码审查基准的数据构成与评分方法,读者可据此理解智能体代码审查的离线评测口径。
Microsoft 与 Hugging Face 联合发布 ThinkingBox,按智能体在隔离 MCP 会话中留下的数据库终态与副作用打分,而非看它生成的回答,已在 Hugging Face 开放框架与数据集。
推荐理由:论文给出 507 个有状态业务流程各跑 20 次的一致性数据,可据此判断智能体可靠性的真实水位。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源与多语言 TTS 模型,单模型评测耗时从收集投票的数周缩短到数小时。
AI newsletter Import AI 第 469 期聚焦三项内容:新基准 DiG-bench 用 70 款隐藏规则的游戏测试 AI 的发现与创造力,在 Tier 7 任务上 Opus 5 与 Fable 5(配合 Claude Code)成功率仅 0.2,而人类可达 100%。