Context Language Models (CLM) が LLM に自己管理型コンテキストを導入

TL;DR

Context Language Models (CLM) を使用すると、言語モデルは自身のコンテキストを編集可能なファイルとして扱うことができます。モデル自身が何を保持し、何を破棄または更新するかを決定できるため、ベンチマークタスクにおいて最大 11.4% の精度向上と 21.5% の FLOPs 削減を実現し、マルチエージェント環境のデプロイを簡素化します。

CLM とはその何か、なぜ重要なのか

CLM は、推論中に永続的な「コンテキストファイル」を読み取り、書き込み、上書きできる言語モデルであり、コンテキスト管理を外部コードからモデル自身へと移行させます。

  • コンテキストファイルは、モデルが任意のステップで変更可能な可変トークンシーケンスです。
  • どの情報を保持する価値があるかを学習することで、モデルは不要なアテンション計算を削減します。
  • この設計は、それぞれが独自のコンテキストファイルを所有する複数のエージェントが存在するシナリオに自然に拡張され、個別のオーケストレーション層なしで調整されたマルチエージェント推論を可能にします。

技術的な核心的貢献

本論文では、モデルが外部からのプロンプトなしで呼び出せる特別な「ファイル更新」操作を公開することで、自己管理型コンテキストを実装しています。

  • この操作には制限がなく、モデルは任意のトークン領域を挿入、削除、または置換できます。
  • トレーニングはゼロショットで行われます。既存の事前学習済みモデル（例: Qwen3.5-9B）をファイル更新インターフェースでラップし、直接評価します。
  • Transformer のアーキテクチャ変更は不要で、推論時の薄いラッパーとしてメカニズムが追加されます。

確立されたベンチマークにおける実証的成果

CLM は、計算量を大幅に削減しながら、最先端のコンテキスト管理ベースラインを上回る性能を発揮します。

ベンチマーク 指標 精度 Δ FLOPs Δ
BrowseComp-Plus 精度 +11.4% –21.5%
12-hour EdgeBench スコア +5.0% –59%
24-hour multi-repo swarm 改善率 +65% (同計算量)

また、著者らは、標準的な SGLang サービングスタックと比較して、共同設計された Suffix Cache Reuse 技術を使用して CLM を提供することで、サーバー側の計算量を 35% 削減できたと報告しています。

コンテキスト管理戦略の内部学習

CLM は自然言語の指示によって制御可能であり、スキル最適化ループを通じて改善されます。

  • 標準的な RLHF (Reinforcement Learning from Human Feedback) スタイルのループが適用され、報酬モデルがコンテキスト更新の品質をスコアリングします。
  • BrowseComp-Plus では、オンライン RL により Qwen3.5-9B のパフォーマンスが 47.6% 向上し、FLOPs が 12% 削減されました。
  • 指示チューニングされたプロンプトにより、専用のコンテキスト管理タスクにおけるホールドアウト精度を最大 35.9 ポイント向上させることができます。

サービングの最適化: Suffix Cache Reuse

Suffix Cache Reuse (SCR) は、コンテキスト編集後も変更されない KV キャッシュのサフィックスを再利用し、完全な再計算を回避します。

  • 従来の KV キャッシュでは、プロンプトが変更されるとサフィックス全体が無効化され、キャッシュミスのペナルティが発生していました。
  • SCR は、ファイル更新によって影響を受けないトークン位置を追跡し、キャッシュされたアテンションキー/値を再利用します。
  • 実際には、SCR はベースラインの SGLang システムと同等の性能で、サーバー側の FLOPs を 35% 削減します。

Hacker News でのコミュニティの反応

HN での議論では、熱狂的な反応と実用的な懸念の両方が強調されています。

"モデルに自身のコンテキストを管理させるのは、非常に『苦い教訓 (bitter lesson)』的なアイデアだ。プレフィックスを頻繁に編集するとキャッシュヒット率が低下し、アーキテクチャの変更が必要になるだろう。" – @jayhack

"コンテキスト管理がモデルの限られたアテンション予算を消費し、実際のタスクに使えるトークンが減ってしまうのではないかと懸念している。別のハイパーバイザーエージェントがこの作業をオフロードできるかもしれない。" – @bob1029

"最大の発見は、彼らが通常のキャッシュルールを無視して無効なキャッシュサフィックスを保持したにもかかわらず、パフォーマンスが低下しなかったことかもしれない。" – @Bolwin

"コンテキスト管理は現代の LLM における大きな悩みの種の一つなので、これは大きな進歩になる可能性がある。明らかな複雑さはキャッシュバーストだが、それに対する解決策を調査したことは素晴らしい。" – @svachalek

"関連研究: Recursive Language Models (arXiv:2512.24601) も自己修正的な動作を調査している。" – @killerstorm

"ファイルを次のコンテキストとして送信することで、現在のどのモデルでも同じことができるのではないか？ コストはキャッシュミスだが、CLM はそれを単に無視しているだけだ。" – @visarga

これらのコメントは、キャッシュ効率と、メモリ管理をモデルに任せるべきか、それともタスク解決に集中させるべきかという 2 つのテーマに集約されます。

未解決の課題と今後の方向性

CLM が実用化されるまでには、いくつかの実用的な課題が残っています。

  1. キャッシュヒット率: コンテキストファイルの頻繁な編集は KV キャッシュエントリを無効化し、レイテンシを増加させる可能性があります。SCR はこれを緩和しますが、問題自体を解消するわけではありません。
  2. アテンション予算: モデルのトークン予算はタスクの推論とコンテキスト編集の間で共有されます。このトレードオフを定量化することは未解決の研究課題です。
  3. マルチエージェント調整: 本論文ではエージェントごとに個別のファイルを提案していますが、競合解決や一貫性のためのプロトコルについては詳細が記述されていません。
  4. ハードウェアサポート: 可変コンテキストを効率的に公開するには、Transformer カーネルの変更や専用のメモリプリミティブが必要になる可能性があります。

結論

Context Language Models は、LLM に可変コンテキストファイルの直接的な制御権を与えることで、精度を向上させ計算量を削減できることを示しています。しかし、このアプローチを大規模に実現するには、キャッシュ、サービングインフラストラクチャ、およびマルチエージェント調整における進歩が必要です。

Sources

関連