跳到正文
Hugging Face Blog·· 3 小时前AI 评分58

StateBench 发布:测试语言模型在长文档中的状态跟踪能力

StateBench: Testing how language models track state changes over long documents

AI 导读

AI2 团队推出 StateBench,一个按四级难度评估语言模型在长文档中跟踪实体信息变化的基准。测试显示,Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 在较难的可解与一般有限问题上,随输入变长准确率急剧下降,最长的 general finite 问题降至 13% 或更低。

来源:Hugging Face Blog · huggingface.co

继续探索 AI