AI2 团队推出 StateBench，用于测试语言模型在长文档中跟踪实体信息随内容变化的能力，按四级难度评估。测试显示，Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 在较难的可解问题和一般有限问题上，随着输入变长，准确率急剧下降，最长的 general finite 问题降至 13% 或更低。 该基准由 Hugging Face 发布。所谓状态跟踪，指模型能否在长文档中持续掌握实体的信息变化。
AI 根据报道生成 · 2 小时前更新
沿着报道，了解事件的不同侧面。
AI2 团队推出 StateBench，一个按四级难度评估语言模型在长文档中跟踪实体信息变化的基准。测试显示，Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 在较难的可解与一般有限问题上，随输入变长准确率急剧下降，最长的 general finite 问题降至 13% 或更低。
还没有足够的连续观测数据，暂不绘制趋势。