Artificial Analysis 发布具身智能基准 AA-Robotics v0.1
Artificial Analysis 推出 AA-Robotics v0.1,用八项具身操作任务评测前沿模型,每题满分 100 分,按完成度和部分进展计分。
推荐理由:Artificial Analysis 首次把具身任务做成可比基准,并给出各模型在八项操作任务上的得分分布。
Artificial Analysis 推出 AA-Robotics v0.1,用八项具身操作任务评测前沿模型,每题满分 100 分,按完成度和部分进展计分。
推荐理由:Artificial Analysis 首次把具身任务做成可比基准,并给出各模型在八项操作任务上的得分分布。
Google 工程师 Haydn Belfield 表示,Google DeepMind 未观察到 AI 自身驱动 AI 研究出现可测量的加速,AI 目前编写超 75% 的生产代码,但约 88% 的代码改动仍需人工审核。
Google 发布地理空间推理智能体的技术报告,在四个基准上对比四种配置,并新开源 GeoKTools 和 GeoExpertQueries 两个基准的开发集。
推荐理由:技术报告给出四套基准与四种配置对比,量化了专用工具和前置规划对地理空间推理的提升。
Amazon SageMaker JumpStart 提供预训练模型目录,可用 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试,并在测试完成后删除端点。
Meta 发布新模型 Muse Wonder 和 Muse Wonder Full,称 Muse Wonder Full 具备前沿能力,将先通过 API 和 Muse Code 提供,最佳版本还会驱动包括 Muse 个人智能体在内的平台功能。
美国初创公司 Artemis Security 推出安全专用模型 Orion-1,用于自主调查和响应企业网络攻击,并在其自建基准上超过 Claude Opus 5.5 和 GPT-6 Sol。
White Circle 在预印本中披露,使用现成工具和 API 调用,其 RISE 攻击方法可绕过 DALL·E 3、Google Nano Banana 2 和 GPT-Image-2 的安全过滤,约 13% 的请求能生成露骨内容。
Gemini 4 Argon 今日正式 GA,面向编码、知识工作、企业流程和网络防御场景,付费 Gemini API 与 Gemini 平台同步开放,推广期 API 价格为每百万输入/输出 token 2/10 美元。
开源基准 Parsimony 上线,专门衡量 AI 模型在解题时新增了多少代码,以 coding units(语句、调用、比较、名称、字面量等语法元素)计数而非行数,并减去删除的代码,得出净增单元数。
Artificial Analysis 推出 Decision Index v1.0,用于衡量决策模型的表现。该指数从成本与时间效率两个维度评估决策模型,并考察其是否存在过度自信问题,同时对比决策模型与 LLM 的差异,以及模型是否懂得在必要时不作答。
Google DeepMind 发布前沿模型 Gemini 4 Argon,今日通过 API 在 AI Studio 和 Gemini 平台向开发者与企业开放,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini 应用和搜索 AI Mode 使用。
推荐理由:Gemini 4 Argon 的完整能力清单与开放入口,可用于比较各前沿模型在编码、科研与安全对齐上的差异。
Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 与 Muse Wonder Full,距该实验室成立约 14 个月,定位为个人与专业 Agent 任务的 SOTA。
Meta 发布前沿模型 Muse Wonder,含 Muse Wonder Full 和 Muse Wonder 两个版本,在 Artificial Analysis Intelligence Index v4.3 上分别得分 56 和 52,高于前代 Muse Spark 1.3 的 48 分。
微软研究院推出 StudentSim,一个从公开去标识化学习记录中训练个性化 AI 学生模拟器的研究系统,用于在接触真实学习者之前评估和改进 AI 辅导工具。该研究同时提出 StudentSimEval 基准,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、英语二语写作和数学三个领域,StudentSim 在这些领域均优于主流基线,并为训练 AI 导师提供了有效反馈信号。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,522 道题覆盖 288 张图像和 234 段短视频(17.6 小时),人类 pass@1 为 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
Artificial Analysis 发布 AA-3D v1.0,一个用于评测 AI 模型构建交互式 3D 体验能力的基准测试,并同步上线排行榜。该基准还公开了单个场景的构建成本,并展示了一次 agent 运行的内部过程。官方表示,新模型发布后将持续加入 AA-3D 排行榜。
Artificial Analysis 上线由 Cognition 构建的编码基准 FrontierCode 1.1,通过维护者是否愿意合并改动来评测智能体,并考核过度修改、越界改文件等行为。
Meta 发布 Muse Wonder 与 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 上最高推理强度得分分别为 52 和 56,高于 6 周前 Muse Spark 1.3 (max) 的 48。
推荐理由:对比同门新旧模型与其他旗舰的 Intelligence Index、token 消耗和单价,可快速判断这代 Meta 模型的性价比位置。
Latent Space 的 AINews 汇总称,TypeSafe 宣布 Series AI 融资,Sequoia 泄露其首周 ARR 已超过 1 亿美元、估值 75 亿美元,Jev 上线仅三周。
Artificial Analysis 发布 Harvey LAB-AA v1.1,在法律智能体评测中加入幻觉检查,将幻觉分为与来源矛盾、编造来源内容、无记录支持的具体断言三类,并区分重大与轻微,仅重大幻觉触发 Hallucination-Gated All-Pass Rate 的零分。
推荐理由:Harvey LAB-AA v1.1 加入幻觉检查,并给出六个评审模型在同一子集上的对比数据,读者可据此了解法律智能体评测如何衡量幻觉。
Artificial Analysis 将其 Cyber Index 排行榜扩展到受限访问模型,首个纳入的是仅通过 OpenAI Daybreak 计划开放的 GPT-6 Sol (Daybreak Blue, max),该模型登顶指数并位于成本与能力帕累托前沿。
Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis Intelligence Index 上得分 43,比上一代 Haiku 提升 26 分。
推荐理由:Artificial Analysis 用自建基准横向对比 Haiku 5.5 与同级小模型,可据此判断小模型的能力与成本取舍。
Microsoft 研究合伙人研究经理 Jennifer Neville 指出,模型在超出传统 benchmark 的测试中会出现"令人意外的失败",评测是推动当前 AI 系统性能边界、满足用户需求的关键环节。她建议在实际使用 AI 系统时密切关注数据,当结果违背预期时应回到数据本身找原因。
Mistral 以 Research Public Preview 形式发布 Mistral Large 4,在 Artificial Analysis Intelligence Index 上得分 38,与 GPT-6 Luna(max,38)相当,略低于 DeepSeek V4.1 Flash(max,39),成为美国和中国之外最智能的模型。
推荐理由:Mistral Large 4 的评测数据覆盖智能指数、网络安全与成本,可对比同期中美模型的能力与价格定位。
GitHub 发布代码审查开源基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由:GitHub 公开了代码审查基准的数据构成与评分方法,读者可据此理解智能体代码审查的离线评测口径。
Microsoft 与 Hugging Face 联合发布 ThinkingBox,按智能体在隔离 MCP 会话中留下的数据库终态与副作用打分,而非看它生成的回答,已在 Hugging Face 开放框架与数据集。
推荐理由:论文给出 507 个有状态业务流程各跑 20 次的一致性数据,可据此判断智能体可靠性的真实水位。
哈佛物理学家 Matthew Schwartz 在 Anthropic 客座研究中提出「Claude 形状的问题」思路,把适合当前 LLM 的定量计算任务交给 Claude,并据此构建开源工具链 BootLoops。
推荐理由:作者以物理学家身份复盘用 Claude 构建 BootLoops 工具链的实践,读者可了解智能体在科研中可行的分工边界与协作方法。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源与多语言 TTS 模型,单模型评测耗时从收集投票的数周缩短到数小时。
韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,在 Artificial Analysis Intelligence Index 上得分 24,较上一代旗舰 Solar Pro 3 的 8 分高出 16 分。
推荐理由:Artificial Analysis 用统一基准拆解 Solar Mini 4 的智力分数、成本与缓存命中,可看清小激活参数模型的性价比边界。
Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色声音设计与逐行表演控制,后者面向高并发、低成本场景,支持 100 多种语言。
推荐理由:官方给出两款 TTS 模型的定制能力、基准排名和接入渠道,可对照现有语音方案评估迁移成本。
AI newsletter Import AI 第 469 期聚焦三项内容:新基准 DiG-bench 用 70 款隐藏规则的游戏测试 AI 的发现与创造力,在 Tier 7 任务上 Opus 5 与 Fable 5(配合 Claude Code)成功率仅 0.2,而人类可达 100%。