Stanford CS329A: AIエージェントにおけるプランニングとマルチステップ推論

概要

AIエージェントにおけるマルチステップ推論には、推論（何をすべきかの計画）、実行（ツールや検索によるステップの実行）、および探索（フィードバックに基づく軌跡の洗練）の緊密な統合が必要です。核心となる課題は、単なる逐次的な生成を超え、モデルが正しい解に到達するための多様性、探索、および効率性を促進することにあります。

Language Agent Tree Search (LATS)

LATSは、モンテカルロ木探索 (MCTS) を言語モデルの軌跡に適用することで、推論、実行、およびプランニングを統合します。これは、線形な思考の連鎖 (chain-of-thought) プロセスを木ベースの探索へと変換し、最終的な回答への経路を最適化します。

LATS フレームワーク

LATSは、以下の6つの異なるステージを通じて動作します：

  1. Selection (選択): 新しい経路の探索と、既知の高価値な経路の活用をバランスさせるために、Upper Confidence Bound applied to Trees (UCT) を使用して、拡張のためのノードが選択されます。
  2. Expansion (拡張): モデルは、選択されたノードから複数の潜在的なアクションをサンプリングします。
  3. Evaluation (評価): 各結果の状態は、LLM-as-a-Judge (モデルに0-1のスコアをプロンプトする) と self-consistency score (特定のアクションがサンプリングされる頻度) の加重平均を使用してスコア付けされます。
  4. Simulation (シミュレーション): モデルは、最も高いスコアを持つ状態を貪欲に拡張し、終了状態 (成功または失敗) に到達するか、計算予算に達するまで続けます。
  5. Backpropagation (バックプロパゲーション): 軌跡の結果は、その結果に至るすべての状態の値を更新するために使用されます。
  6. Reflection (リフレクション): モデルは軌跡を分析して、なぜ成功したか、あるいは失敗したかを判断します。これは、将来の探索を改善するためにコンテキストに追加されます。

パフォーマンスとトレードオフ

LATSは、HotPotQA (マルチホップ推論) および WebShop (実用的なeコマースタスク) において強力な結果を示し、ファインチューニングなしで人間のエキスパートに近いパフォーマンスを達成しました。しかし、このアプローチは、木の繰り返し的な拡張とバックプロパゲーションにより、大幅な推論コストが発生します。さらに、LATSは現在、試行錯誤的な探索が不可能な不可逆的なアクション (例：金融取引) には対応していません。

SPRINT: 推論軌跡の並列化

SPRINTは、最先端モデル (DeepSeek-R1やGeminiなど) における逐次的な「思考」の非効率性に対処します。これらのモデルでは、より長い推論の連鎖がより高い精度と相関することが多いものの、レイテンシとコストが増大します。

並列プランニングと実行

SPRINTは、多くの推論ステップが独立しており、並列に実行できるという観察に基づいています。このフレームワークは、ポストトレーニング/ファインチューニングのアプローチを用いて、モデルにplanner (プランナー) と executor (エグゼキューター) の両方の役割を教えます：

  • Data Creation (データ作成): DeepSeek-R1のようなモデルの推論軌跡は、GPT-4oによってアノテーションされ、プランニングステップと実行ステップが特定されます。これらは、並列に実行可能なステップを特定するために、有向非巡回グラフ (DAG) に整理されます。
  • Fine-tuning (ファインチューニング): モデルは、これらの再構成された軌跡を用いて教師ありファインチューニング (SFT) を行い、並列プラン (例：「Plan 1」および「Plan 2」) とそれに対応する実行を特定のタグで出力するように学習させます。
  • Inference (推論): テスト時、モデルは複数の独立したプランを生成します。これらのプランは、並列に実行され (例：複数のPythonツール呼び出しを介して)、モデルが次のプランニングステージに進む前に、結果がコンテキストに同期されます。

主な結果

  • Efficiency (効率性): SPRINTは、回答に到達するために必要な逐次的なトークン数を大幅に削減し、特定のタスクにおいて逐次トークン数を約40%削減します。
  • Accuracy (精度): 単なる効率性の向上という目標に反して、構造化された並列思考プロセスは、MATH, Countdown, および GPQA Diamond のようなベンチマークにおいて、実際に精度を向上させました。
  • Generalization (汎用性): MATHデータで学習したモデルは、追加のトレーニングなしで、ドメイン外のタスクに対しても並列思考能力を汎用化させることができました。

SWiRL: 合成的なマルチステップRL

SWiRLは、強化学習 (RL) プロセス中にツールをライブで実行するオーバーヘッドと不安定さを回避しながら、モデルにツールを使用し、複数のステップにわたって推論することに焦点を当てています。

SWiRL メソドロジー

SWiRLは、データ収集とモデルの最適化を分離します：

  1. Offline Synthetic Generation (オフライン合成生成): モデルは、マルチステップの軌跡 (推論 $\rightarrow$ ツール呼び出し $\rightarrow$ 環境の応答) を反復的に生成します。
  2. Process Labeling (プロセス・ラベリング): LLM-as-a-Judgeは、ツールの実際の出力に関わらず、提案されたアクション/クエリの質に基づいて、各個別のステップに報酬を与えます。
  3. Multi-Step RL (マルチステップRL): モデルは、事前のコンテキストに基づき、単一のアクションの期待報酬を最適化するためにRLを用いて学習されます。重要な点は、学習中にツールは実行されないことです。モデルは、事前に収集されたオフラインデータに基づき、「良い」アクションを提案することに対して報酬を与えられます。

データ・フィルタリングと汎用性

  • Process vs. Outcome Filtering (プロセス vs. 結果のフィルタリング): 研究者たちは、プロセス・フィルタリングされたデータ (LLMによって「良い」と判断されたステップを保持する) が、結果・フィルタリングされたデータ (正しい最終回答を持つ軌跡のみを保持する) よりも、学習においてより効果的であることを発見しました。これは、正しい中間的な推論を学習することが、単に正しい最終結果を模倣することよりも価値があることを示唆しています。
  • Cross-Domain Transfer (ドメイン間転送): SWiRLは驚異的な汎用性を示しました。GSM8K (電卓ツールを使用) で学習したモデルは、HotPotQA (検索ツールを使用) でのパフォーマンスを向上させました。これは、モデルが特定のツールのAPIを学習するのではなく、マルチステップのツール呼び出しと推論という一般的なメタスキルを学習していることを示しています。
  • RL vs. SFT (RL vs. SFT): マルチステップRLは、教師ありファインチューニング (SFT) をよりも大幅に上回りました。これは、RLがモデルに、模倣データに含まれる誤った軌跡を探索し、そこから脱却すること（break away）を脱却することを可能にするためです。

Sources