目次

StateBenchは、長い文書を読む能力と、その中の変化を正しく追跡する能力が異なることを示しています。報告されたテストでは、最先端モデルは単純な検索には強かったものの、依存関係のある更新を連鎖的に追う必要がある最長の問題では、正答率が13%以下に低下しました。

要点#

  • StateBenchは、変化しない値の取得から、他の変数に依存する更新の追跡まで、状態追跡を4つの難易度に分けています。
  • Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Lunaは、系列が長くなるにつれて、難しい追跡問題に苦戦しました。
  • 直接訓練した再帰型モデルとハイブリッドモデルは、いくつかの難易度で訓練時の長さを大幅に超えて汎化した一方、Transformerにはより強い制約が見られました。
  • アプリケーションが使う更新パターンを評価してください。コンテキストウィンドウが大きいだけでは、追跡の信頼性は保証されません。

StateBenchが測定するもの#

2026年11月3日に公開されたStateBenchの発表では、文書内で変化する情報を追跡するベンチマークが紹介されています。中心となる区別は、1回の代入から答えを見つけられるか、複数の更新から計算する必要があるかです。

ベンチマークには4つのレベルがあります。

| レベル | 許される更新 | モデルに求められる処理 | |---|---|---| | R-trivial | 以後変化しない値を代入する | 元の値を取得する | | Aperiodic | 値を直接置き換える | 最新の代入を見つける | | Soluble | 現在の値を使って値を更新する | 系列全体にわたって変化を反映する | | General finite | 別の変数の現在値をコピーする、または値を交換する | 変数間の依存関係を追う |

こうした区別は評価で重要です。サーモスタットの最新設定を見つける方が、加点の履歴から得点を再構成するより簡単です。人々の間で繰り返し受け渡される物を追うには、さらに別の種類の追跡が必要になります。

モデルの正答率が低下した場面#

研究者らは、70億パラメータのTransformerであるOlmo 3や、Gated DeltaNet層を含むOlmo Hybridなど、オープンな事前学習済みモデルをテストしました。比較対象のモデルは事前学習データを共有し、64,000トークンを超えるコンテキストでは訓練されていませんでした。

ほとんどのモデルは、変化しない値の取得で良好な成績を収めました。最新値を求める問題では入力が長くなるにつれて正答率が低下し、General finiteの問題では偶然正解する水準にとどまりました。提示形式も結果に影響しました。小型のハイブリッドモデルとGated DeltaNetモデルは、RULER形式の検索問題ではほぼ満点でしたが、同等の問題をスプレッドシートの編集として提示すると、偶然正解する水準に近づきました。

4つの最先端モデルは、簡単な方の2つのレベルで良好な成績を収めました。SolubleとGeneral finiteの課題では、系列が長くなるにつれて正答率が急落し、最長のGeneral finite問題では13%以下になりました。前の更新が後の複数の操作に影響するため、1つの手順を見落とすだけで最終結果が崩れることがあります。

直接訓練で何が変わったか#

事前学習の不足とアーキテクチャの限界を切り分けるため、研究者らは2億7,500万パラメータのモデル6つをゼロから訓練しました。内訳はTransformerが2つ、ハイブリッドが2つ、Gated DeltaNetの派生モデルが2つです。

訓練系列に含まれる代入は最大256回でした。評価では、訓練時の最大長の250倍に当たる64,000回の代入まで拡張しました。Gated DeltaNetとハイブリッドモデルは、最初の3つのレベルで、テストした最長の系列までほぼ完全に汎化しました。Transformerは簡単なレベルを学習しましたが、長さとともに性能が低下し、今回の実験では最難関のレベルを学習できませんでした。

最難関の問題では、対応できる長さがより限られていました。メモリをより柔軟に更新できるGated DeltaNetの派生モデルは、訓練時の最大長の約10倍まで、ほぼ完全な正答率を維持しました。この結果は再帰型メモリをさらに調べる根拠になりますが、250倍までの拡張全体でGeneral finiteの追跡が信頼できることを示すものではありません。

知見をどう活用するか#

StateBenchの区分を使い、システムが追跡すべき変化に合わせて評価を設計してください。固定された事実を取得する文書アシスタントと、所有権、残高、変化するタスクの状態を追跡するエージェントでは、必要なテストが異なります。

実用的な評価は、次の4つの手順で進められます。

1. 必要な更新の種類を特定する:固定された事実、置き換え、累積的な変化、エンティティ間の依存関係。 2. 想定される最長の利用時の長さも含め、複数の長さの系列を作り、最終的な正解を独立に計算する。 3. スプレッドシートの編集や会話メッセージなど、ユーザーが実際に使う形式で同等の系列を提示する。 4. 更新の種類と長さごとに最終状態の正答率を測定し、どこから誤りが生じるかを調べる。

最終状態の誤りが重大な影響を及ぼす用途では、正とする状態をデータベースなどの決定論的なシステムに保持してください。モデルには構造化された更新を提案させ、その検証と更新後の状態の計算はモデルの外で行います。

この結果からは証明できないこと#

StateBenchは、変数の数が固定されていると仮定しています。実際の会話やワークフローでは、新しい人、物、レコードが登場するため、現在の枠組みですべての追跡要件を網羅することはできません。

知見の解釈にも注意が必要です。直接訓練の結果は、特定のアーキテクチャと実験条件に関するものであり、運用中のアシスタントの挙動を保証しません。制約付きのGated DeltaNet派生モデルの理論的能力には、数値精度や注意層が与える影響など、未解決の点も残っています。

実用上の結論は、より限定的です。状態追跡を直接テストしてください。検索での好成績、宣伝される大きなコンテキストウィンドウ、短い例での成功だけでは、長い文書全体で依存関係のある更新をモデルが維持できるとは判断できません。

次の一歩#

実際のワークフローから評価を1つ作ってください。想定される最長の更新系列を取り出し、最終状態を独立に計算したうえで、選んだモデルが追跡対象のすべての値を正しく返すか確認します。

出典: https://huggingface.co/blog/allenai/statebench

目次