StateBench: 言語モデルが長文ドキュメントにおける状態変化をどのように追跡するかをテストする

StateBenchの理解

StateBenchは、長文ドキュメント全体を通じてエンティティに関する情報がどのように変化するかを、言語モデルがどの程度効果的に追跡できるかを測定するために設計された診断ベンチマークです。状態追跡は、変数が継続的に再割り当てされるコード実行から、キャラクターの位置や状態が時間とともに変化する物語の理解に至るまで、さまざまなタスクにおける基本的な能力です。StateBenchはこれらのタスクを4つの異なる複雑さのレベルに分類することで、標準的なトランスフォーマーからリカレント（再帰型）やハイブリッド設計に至るまで、特定のモデルアーキテクチャが入力長の増加に伴いどこで失敗し始めるかを研究者が特定できるようにします。

状態追跡の4つのレベル

StateBenchは、Krohn–Rhodes理論に基づき、更新操作の複雑さに応じて状態追跡問題を階層化しています。これらのレベルは、正確な内部状態を維持する上での難易度の上昇を表しています。

R-trivial: 値が変化しない不変の割り当てを含む問題。モデルは単に初期状態を復元することが求められます。
Aperiodic: 値による再割り当てを許可する問題。モデルは古いデータを無視し、最新の更新を特定する必要があります。
Soluble: 自己参照的な更新（例: x = x + 5）を含む問題。モデルは実行中の合計を前方に持ち越す必要があります。
General Finite: 最も複雑なレベル。参照による割り当て（例: 変数の入れ替えや複数のコンテナ間でのオブジェクトの追跡）を含み、シーケンス全体に複雑な依存関係を生じさせます。

事前学習済みモデルおよびフロンティアモデルのパフォーマンス

現在のモデルの評価では、特により困難なタスクにおいて、入力長が長くなるにつれてパフォーマンスが一貫して低下することが明らかになっています。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolおよびLunaを含むフロンティアモデルをテストした際、研究者は、これらのモデルがR-trivialおよびaperiodicタスクをうまく処理できる一方で、入力が長くなるとsolubleおよびgeneral finiteの問題では精度が急激に低下することを観察しました。これは、現在の世代の大規模モデルが、複雑で長い依存関係を持つ状態追跡の累積的な性質に苦戦していることを示唆しています。

アーキテクチャの制限と直接学習

これらの失敗がモデルアーキテクチャ固有のものなのか、それとも学習不足の結果なのかを判断するために、研究者は2億7500万パラメータのモデルをStateBenchでゼロから学習させました。その結果、アーキテクチャの違いが汎化性能に大きな影響を与えることが示されました。

Transformers: タスクを直接学習させた場合でも、トランスフォーマーは最も困難な（general finite）レベルの状態追跡を学習できませんでした。
Hybrid and Gated DeltaNet: これらのアーキテクチャは優れた汎化性能を示しました。直接学習させた場合、R-trivial、aperiodic、およびsolubleの問題を数万回の割り当てまで正常に処理しました。柔軟なメモリ更新を備えたGated DeltaNetのバリアントは最も堅牢なパフォーマンスを示し、学習時に見られた長さの10倍の長さでもほぼ完璧な状態を維持しました。

今後の開発への影響

StateBenchは、現在のフロンティアモデルが非常に有能である一方で、複雑で長距離の状態依存関係を管理する際には、基盤となるアーキテクチャの制約によって依然として制限されていることを強調しています。このベンチマークは、研究者が新しいリカレントおよびハイブリッドアーキテクチャを評価するためのフレームワークを提供し、より堅牢で長文脈の推論が可能なシステム開発を導くツールとして機能します。今後の研究では、ドキュメント全体で新しい変数が導入される動的なエンティティ作成の処理など、現在のフレームワークにおける制限に対処することを目指しています。