Stanford CS329A Lecture 4: Learning from Feedback with Tools/Code – ReAct, RLEF, and Constitutional AI

ReAct: Combining Reasoning and Tool Use

ReActは、言語による推論プロセスとツール呼び出しを交互に行うようモデルにプロンプトを与えることで、知識集約的なタスクにおいて、より優れたグラウンディング（根拠付け）と解釈可能な動作が得られることを示しています。まず推論プロセスを生成し、そのプロセスに基づいてアクションを選択し、結果を観察し、このループを繰り返すことで、モデルは外部情報（例：ウェブ検索経由）を取得し、それを推論に組み込むことができます。このアプローチは、純粋なchain‑of‑thoughtと比較して、モデルが外部の知識ベースに対して回答を検証できるため、ハルシネーション（幻覚）を低減します。HotpotQA、FEVER、およびWebShopにおいて、ReActはアクションのみのベースラインを上回り、chain‑of‑thought self‑consistencyやフォールバックメカニズムと組み合わせた場合、標準的な手法を超えます。WebShopの意思決定タスクにおいて、ReActは66.6のスコアを獲得しましたが、人間によるエキスパートは82.1を記録しており、まだ改善の余地があるものの、推論をツール使用にグラウンディングさせることの価値が示されています。

RLEF: Learning Code from Execution Feedback

RLEF (Reinforcement Learning from Execution Feedback) は、テストの実行結果をPPOトレーニングループにおけるフィードバック信号として扱うことで、コード生成を改善します。モデルは自然言語による問題文を受け取り、コードを生成し、即時的な推論時フィードバックを得るために公開されたテストセットに対して実行し、コードがパスするか、あるいはターン制限に達するまで繰り返します。最終的な解決策は、その後、非公開のプライベートテストセットで評価され、その結果がPPOの更新のための報酬を与えます。この二段階のテスト戦略は、モデルが公開テストの出力を単に暗記することを防ぎます。ハイブリッドなトークン‑ターンレベルのポリシーは、ターンレベルで価値関数を計算しつつ、コードをトークンごとに生成することで、生成に対するきめ細かな制御を可能にします。CodeContestsにおける実験では、モデルが実行フィードバックを使用してコードを修正する学習を行うことで、より高い解決率（例：kにおけるsolve rate 10の改善）と、より少ない誤った出力が得られることが示されています。テストのパス/失敗によるバイナリ報酬は、これらの比較的短い競技プログラミング問題に対しては十分であり、この手法は他のコード生成ベンチマークにも一般化可能です。

Constitutional AI: Self‑Critique via Human‑Written Principles

Constitutional AIは、人間が作成した一連の原則（憲法）をAI生成フィードバックのソースとして使用することで、モデルに無害性（harmlessness）を学習させます。このプロセスは二つの段階で構成されます。まず、モデルは憲法に基づいて自身の出力を批判（critique）し、修正（revision）します。これらの自己批判/修正のトレースは、 supervised fine‑tuning に使用されます。次に、修正された出力と憲法に基づいて、選好モデル（preference model）が学習され、この選好モデルが強化学習を導いて、有益（helpful）かつ無害（harmless）な応答を生成するようにします。結果として、無害性のEloスコアは大幅に上昇しますが、有益性はわずかに低下する可能性があります。Constitutional AIをchain‑of‑thoughtと組み合わせることで、有益性と無害性の間の最適なパレート最適解（Pareto frontier）が得られます。このアプローチは、憲法を更新するために必要なポストトレーニングの計算量がわずかであるため、スケーラブルであり、標準的なRLHFに必要とされる大規模な人間によるラベル付けを回避できます。

Discussion: Challenges and Extensions

講義では、いくつかの未解決の課題が強調されました。ReActについては、ノイズの多い、あるいは誤解を招く環境フィードバックは、リフレクション層やバックトラッキングメカニズムを追加することで軽減でき、信頼性は繰り返しサンプリングと多数決によって向上させることができます。ReActをより大きなアクションスペースに拡張する場合、より多くのデモンストレーションが必要となり、推論コストが増大するため、効率的なアクション選択の必要性が示唆されています。RLEFにおいては、、バイナリフィードバックは複雑なデバッグタスクには不十分かもしれません。より豊かなエラー・トレースがあれば、修理の効率を向上させることができます。Constitutional AIについては、、憲法を更新する際にフルリトレーニングを行わずに済む方法は、継続学習（continual-learning）の未解決問題として残っています。また、モデルが自己批判に対して過度に依存する（潜在的な過信）ことを防ぐために、アンサンブルベースの批判（critique）が行われることが有益かもしれません。また、議論では、人間がタスク分解、並列思考、メモリ、および適応的な推論‑to‑action比率といった追加の認知メカニズムを仕組みとして備えていることが指摘され、これらを将来のエージェント設計に組み込むことが可能であると述べられました。