密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,用于衡量 AI 智能体处理云端 DevOps 任务的能力。1.0 版包含 45 个 AWS 任务,由有经验的 DevOps 工程师设计,任务在真实 AWS 云和模拟器中运行结果一致;团队计划扩展到 GCP、Azure 和 OCI,项目在 GitHub 上以 Apache 2.0 许可发布,并附有详细失败分析。
评测结果显示,表现最好的 Claude Fable 5.1 只完成 60% 的任务,GPT-6 Astra 完成 53%,报道称推理是 AI 云运维的最大瓶颈。
AI 根据报道生成 · 3 小时前更新