Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器不会成为解决评测可信度问题的简单方案，评估结果的可复现性仍是核心难题，开放权重对复现至关重要。 她称评估仍是一门演进中的科学，不同评测之间难以进行有意义的比较，且评测失效速度较快；评估对象已从模型本身扩展到包含 harness 和 agent 的整个系统，智能体评估既困难又昂贵。
AI 根据报道生成 · 1 小时前更新
沿着报道，了解事件的不同侧面。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器不会成为简单解决方案，评估结果的可复现性仍是核心难题，开放权重对复现至关重要。她指出评估是一门仍在演进的科学，不同评测之间难以有意义地比较，且失效速度较快。评估对象正从模型本身扩展到包含 harness 和 agent 的整个系统，而智能体评估既困难又昂贵。
还没有足够的连续观测数据，暂不绘制趋势。