目录
StateBench表明,阅读长文档的能力与正确追踪其中变化的能力并不相同。在已报告的测试中,前沿模型虽然擅长简单检索,但在需要连续追踪相互依赖的更新的最长问题上,准确率降至13%及以下。
要点#
- StateBench将状态追踪分为4个难度等级,从获取不变的值,到追踪依赖其他变量的更新。
- 随着序列变长,Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna在较难的追踪问题上表现吃力。
- 直接训练的循环模型和混合模型在部分难度等级上,能泛化到远超训练长度的序列,而Transformer表现出更明显的局限。
- 请评估应用实际使用的更新模式。仅有较大的上下文窗口,并不能保证追踪的可靠性。
StateBench衡量什么#
2026年11月3日发布的StateBench介绍了一项追踪文档内信息变化的基准。其核心区别在于:答案能否从一次赋值中找到,还是需要根据多次更新计算得出。
该基准包含4个等级。
| 等级 | 允许的更新 | 模型需要执行的操作 | |---|---|---| | R-trivial | 为此后不再变化的值赋值 | 获取原始值 | | Aperiodic | 直接替换值 | 找到最新的赋值 | | Soluble | 使用当前值更新值 | 在整个序列中持续反映变化 | | General finite | 复制另一个变量的当前值,或交换值 | 追踪变量间的依赖关系 |
这些区别对评估很重要。找到恒温器的最新设置,比根据加分记录还原得分更容易。追踪在人们之间反复传递的物品,则需要另一种追踪能力。
模型准确率在何时下降#
研究人员测试了开放的预训练模型,包括拥有70亿参数的Transformer模型Olmo 3,以及包含Gated DeltaNet层的Olmo Hybrid。参与比较的模型使用相同的预训练数据,且均未在超过64,000个词元的上下文上训练。
大多数模型在获取不变的值时表现良好。在查找最新值的问题上,准确率随输入变长而下降;在General finite问题上,表现仅相当于随机猜测。呈现形式也影响了结果。小型混合模型和Gated DeltaNet模型在RULER格式的检索问题上接近满分,但将等价问题呈现为电子表格编辑操作后,表现便接近随机猜测水平。
4个前沿模型在较简单的两个等级上表现良好。在Soluble和General finite任务上,准确率随序列变长而急剧下降,在最长的General finite问题上降至13%及以下。由于前面的更新会影响后续多个操作,漏掉一个步骤就可能导致最终结果出错。
直接训练带来了什么变化#
为区分预训练不足与架构局限,研究人员从零开始训练了6个拥有2.75亿参数的模型,包括2个Transformer、2个混合模型和2个Gated DeltaNet变体。
训练序列最多包含256次赋值。评估时则扩展至64,000次赋值,相当于训练最大长度的250倍。Gated DeltaNet和混合模型在前3个等级上,即使面对测试中最长的序列,也实现了近乎完美的泛化。Transformer学会了简单等级的任务,但性能随长度增加而下降,且在本次实验中未能学会最难等级的任务。
在最难的问题上,模型能处理的长度更为有限。能够更灵活地更新记忆的Gated DeltaNet变体,在训练最大长度约10倍以内仍保持近乎完美的准确率。这一结果为进一步研究循环记忆提供了依据,但并不表明General finite追踪在扩展至250倍的整个范围内都可靠。
如何运用这些发现#
请利用StateBench的分类,根据系统需要追踪的变化设计评估。获取固定事实的文档助手,与追踪所有权、余额和任务状态变化的智能体,需要不同的测试。
实用评估可按以下4个步骤进行。
1. 确定所需的更新类型:固定事实、替换、累积变化、实体间的依赖关系。 2. 构建多种长度的序列,涵盖预期使用中的最大长度,并独立计算最终正确答案。 3. 以用户实际使用的形式呈现等价序列,例如电子表格编辑操作或对话消息。 4. 按更新类型和长度衡量最终状态的准确率,并查明错误从何处开始出现。
对于最终状态出错会造成重大影响的用途,请将权威状态保存在数据库等确定性系统中。让模型提出结构化更新,并在模型外部验证更新、计算更新后的状态。
这些结果无法证明什么#
StateBench假设变量数量固定。实际对话和工作流中会出现新的人、物品和记录,因此当前框架无法覆盖所有追踪需求。
解读这些发现时也需谨慎。直接训练的结果针对特定架构和实验条件,并不保证实际运行中的助手会有相同行为。受限Gated DeltaNet变体的理论能力仍存在未解问题,例如数值精度和注意力层会产生怎样的影响。
实际结论更为有限:请直接测试状态追踪能力。仅凭检索表现良好、宣传中的大上下文窗口,或在短示例上的成功,无法判断模型能否在整篇长文档中持续追踪相互依赖的更新。
下一步#
请根据实际工作流构建一项评估。提取预期最长的更新序列,独立计算最终状态,再检查所选模型能否正确返回所有被追踪的值。
来源: https://huggingface.co/blog/allenai/statebench
目录
