Hugging Face Blog·· 3 小时前AI 评分58
StateBench 发布:测试语言模型在长文档中的状态跟踪能力
StateBench: Testing how language models track state changes over long documents
AI 导读
AI2 团队推出 StateBench,一个按四级难度评估语言模型在长文档中跟踪实体信息变化的基准。测试显示,Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 在较难的可解与一般有限问题上,随输入变长准确率急剧下降,最长的 general finite 问题降至 13% 或更低。
来源:Hugging Face Blog · huggingface.co