Stanford CS229 第18回講義 (2026年春学期): 強化学習と方策勾配への導入
TL;DR
強化学習 (RL) は、逐次的な意思決定問題をマルコフ決定過程 (MDP) として定式化し、教師あり学習のラベルではなくスカラーの報酬から方策を学習します。この講義の核心的な貢献は、期待リターンに対する勾配上昇法を通じて確率的な方策を直接最適化することを可能にする、方策勾配 (REINFORCE) アルゴリズムの導出です。
1. なぜ強化学習なのか？
- 逐次的な意思決定: 行動は将来の状態に影響を与えるため、目先の利益のみを追う貪欲な選択は最適でない場合があります。ロボットのナビゲーションの例（1次元直線上の左右への移動）は、各ステップが次のステップに影響を与えることを示しています。
- 探索 vs 利用 (Exploration vs. exploitation): RLは、情報を収集すること（探索）と、現在の知識を使用して報酬を最大化すること（利用）のバランスを取る必要があります。実際には、多くのアプリケーションが明示的な探索戦略よりも、アルゴリズム固有の確率性に依存しています。
- スパースな教師信号: 分類とは異なり、RLは軌跡がどれほど優れているかを示すスカラーの 報酬 のみを提供します。最適な行動にはラベルが付いていません。
- データ収集ループ: エージェントは行動を生成し、その結果として生じる状態と報酬を観察し、良い行動を強化し悪い行動を罰するように方策を更新します。
2. マルコフ決定過程 (MDP) の定式化
| コンポーネント | 記号 | 意味 |
|---|---|---|
| 状態空間 | (\mathcal{S}) | 環境の考えられるすべての構成（例：ロボットの関節角度、ボード上の位置）。 |
| 行動空間 | (\mathcal{A}) | 許容される行動の集合（例：関節トルク、囲碁の着手）。 |
| 遷移ダイナミクス | (P(s'\mid s,a)) | 状態 (s) で行動 (a) を取った後に状態 (s') に到達する確率。決定論的または確率的になり得る。 |
| 報酬関数 | (r(s)) (または (r(s,a)), (r(s,a,s'))) | 状態（または状態-行動ペア）の望ましさを示すスカラーのフィードバック。 |
| 割引率 | (\gamma\in[0,1)) | 遠い将来の報酬よりも、直近の報酬を重視します。無限のホライゾンにおけるリターンが有界であることを保証します。 |
- 軌跡 (エピソード): 方策から繰り返し行動をサンプリングし、(P) を介して遷移することによって生成されるシーケンス ((s_0,a_0,s_1,a_1,\dots))。
- リターン: (G = \sum_{t=0}^{T}\gamma^{t} r(s_t))。方策 (\pi) の下での期待リターンは (J(\pi) = \mathbb{E}_{\pi}[G]) と表記されます。
- 方策: マッピング (\pi: \mathcal{S}\rightarrow \Delta(\mathcal{A})) （決定論的または確率的）。最適な決定論的方策は常に存在しますが、確率的な方策は探索や勾配ベースの学習に有用です。
3. 価値関数と最適性
- 方策の状態価値: (V^{\pi}(s) = \mathbb{E}_{\pi}[G\mid s_0=s])。
- 最適価値: (V^{*}(s) = \max_{\pi} V^{\pi}(s))。
- 最適方策: すべての (s) に対して (\pi^{*} = \arg\max_{\pi} V^{\pi}(s))。
- ベルマン方程式: 再帰的な関係を提供します。例: [V^{\pi}(s) = r(s) + \gamma \sum_{a}\pi(a\mid s) \sum_{s'} P(s'\mid s,a) V^{\pi}(s').] これらの線形方程式を解くことで、小さく離散的なMDPに対して正確な値が得られます。大規模または連続的な空間については、近似手法を用います。
4. 報酬形成 (Reward Shaping)
- 定義: 最適な方策を維持しつつ、より滑らかな勾配を提供するために報酬関数を修正すること。
- 例: バイナリ報酬（ゴールで (+1)、それ以外で (-0.1)）の代わりに、ゴールに近い状態に高い報酬を割り当てます。これにより学習が加速する可能性がありますが、形成された報酬が真のタスクのダイナミクスを反映していない場合（例：隠れたテレポートのショートカット）、エージェントを誤った方向へ導く可能性があります。
- 注意: 過度な報酬形成は、学習された方策を真の目的から逸脱させる可能性があります。設計者は、情報量と忠実度のバランスを取る必要があります。
5. 方策勾配 (REINFORCE) の導出
- 確率的な方策のパラメータ化: (\pi_{\theta}(a\mid s)) は、各行動に対する確率密度（またはカテゴリカル分布）を出力するニューラルネットワークによって表されます。
- 目的関数: 期待リターン (J(\theta) = \mathbb{E}{\pi{\theta}}[G]) を最大化すること。
- 勾配トリック:
[
\nabla_{\theta} J(\theta) = \mathbb{E}{\pi{\theta}}\big[ G ; \nabla_{\theta} \log \pi_{\theta}(a\mid s) \big].
]
- 期待値を軌跡に関する積分として書き、それから恒等式 (\nabla_{\theta} p_{\theta}(x) = p_{\theta}(x) \nabla_{\theta} \log p_{\theta}(x)) を適用することで、勾配を期待値の中に移動させます。
- 実用的な推定値: 軌跡のバッチをサンプリングし、それぞれのリターン (G) を計算し、上記の推定値を使用して確率的勾配上昇法により (\theta) を更新します。
- 分散の低減: 基本的なREINFORCE推定値は分散が高くなる可能性があることが講義で述べられています。一般的な手法（ベースラインの減算、アドバンテージ推定）が言及されていますが、詳細は割愛されます。
- 遷移モデルの不要性: 勾配の式は (P(s'\mid s,a)) の知識を必要としません。サンプリングされた行動と報酬のみが必要です。
6. 実務者のための重要なポイント
- MDPをモデル化する: 状態、行動、遷移ダイナミクス（シミュレーションを介した暗黙的なものであっても）、および真の目的を捉える報酬を特定します。
- 確率的な方策を選択する: 勾配ベースの最適化と自然な探索を可能にします。
- 方策勾配を使用する: REINFORCEは、方策を改善するためのシンプルでモデルフリーな方法を提供します。これは、大規模言語モデルのファインチューニングに使用されるより高度なアルゴリズムの基礎となります。
- 報酬形成はオプションだが強力である: 学習を助けるために滑らかな報酬を設計しますが、形成が最適解を変更しないことを確認してください。
- 割引率が重要である: (\gamma) は短期的な報酬と長期的な報酬のバランスを取り、無限ホライゾンの問題に対してリターンが有界であることを保証します。
7. 参考文献とさらなる学習
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
- Williams, R. J. (1992). “Simple statistical gradient‑following algorithms for connectionist reinforcement learning.” Machine Learning, 8(3‑4), 229‑256. (Original REINFORCE paper.)
- CS229 Spring 2026 lecture notes (available on the course website) for detailed proofs of the Bellman equations and additional policy‑gradient variants.