Hugging Face Deep RL クラス ユニット8：近接方策最適化（PPO）解説

TL;DR

Hugging Face は、近接方策最適化（PPO）に関する包括的なチュートリアルを公開しました。クリップされたサロゲート目的関数が方策更新を制限し、より安定した学習を実現する仕組みを説明し、CartPole‑v1 と LunarLander‑v2 で評価した完全な PyTorch 実装を提供しています。

PPO が重要な理由

PPO は、各方策更新を事前に定めた小さな範囲 ([1-\epsilon,,1+\epsilon]) に制約することで、強化学習の安定性を向上させます。小さな更新は経験的に収束が速く、過大なステップによって生じる「方策の崖」‑ すなわち回復が困難な劣悪な方策‑ を回避できます。

コア技術アイデア：クリップされたサロゲート目的関数

方策目的の再確認

古典的な REINFORCE 目的は、(\log \pi_\theta(a_t|s_t) A_t) の勾配上昇により期待リターンを最大化します。制約がなければ、ステップサイズが大きすぎると学習が遅く（小さすぎる場合）または分散が大きく（大きすぎる場合）なります。

比率関数

PPO は対数確率項を確率比率に置き換えます。

[ r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)} ]

  • (r_t > 1) のとき、現在の方策でその行動がより起こりやすくなります。
  • (0 < r_t < 1) のとき、現在の方策でその行動が起こりにくくなります。

この比率は新旧方策間の乖離を直接測ります。

クリップされていない目的関数

クリップされていない部分は比率にアドバンテージ (A_t) を掛けたものです。

[ r_t(\theta) \cdot A_t ]

上限がないと、比率が大きくなりすぎて勾配が過剰に大きくなり、破壊的な更新につながります。

クリップされた目的関数

PPO は比率を区間 ([1-\epsilon,,1+\epsilon])（論文では (\epsilon=0.2)）にクリップします。クリップされたサロゲート目的関数は次の通りです。

[ \min\big(r_t(\theta) A_t,; \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t\big) ]

  • 最小値 がより保守的な推定を選びます。
  • 比率がクリップ範囲内にあるときは、クリップされていない項が使用され、通常通り方策が改善されます。
  • 比率が範囲を超えると、クリップされた項は定数になるため勾配がゼロになり、過度に攻撃的な更新を防ぎます。

TRPO との比較

  • TRPO は損失関数の外側で KL ダイバージェンス制約を課すため、計算コストが高く実装も複雑です。
  • PPO はクリッピングにより制約を損失関数内部に組み込み、シンプルかつ高速な代替手段を提供します。

目的関数の可視化

最小演算子の挙動を示す 6 つのケースがあります。

  1. 比率が範囲内、正のアドバンテージ – 行動確率を増加させる。
  2. 比率が範囲内、負のアドバンテージ – 行動確率を減少させる。
  3. 比率が範囲未満、正のアドバンテージ – 確率を増加させる（勾配は非ゼロ）。
  4. 比率が範囲未満、負のアドバンテージ – 勾配がゼロ（これ以上減少させない）。
  5. 比率が範囲超、正のアドバンテージ – 勾配がゼロ（過度に貪欲な更新を防止）。
  6. 比率が範囲超、負のアドバンテージ – 確率を減少させる。

すべてのケースで、クリップされた項が選択されたときは勾配がゼロになるため、方策が古い方策からさらに離れないように保護されます。

Actor‑Critic 用の完全な PPO 損失

最終的な損失は次の 3 つの要素を組み合わせたものです。

  1. クリップされたサロゲート目的関数（方策損失）。
  2. 価値損失（予測リターンと実測リターンの平均二乗誤差）。
  3. エントロピー正則化（探索を促進）。

記事の最後の図に、これらを統合した損失の構造が示されています。

理論からコードへ

Hugging Face はステップバイステップの PyTorch 実装を提供しています。

  • CleanRL のシングルファイルスタイル（Costa Huang）を採用。
  • 13 項目にわたる実装上のニュアンスを詳細に列挙した ICLR ブログ記事を参照。
  • 2 つの代表的な Gym 環境でエージェントを学習させます。
    • CartPole‑v1 – シンプルな倒立振子タスク。
    • LunarLander‑v2 – より複雑な 2‑D 着陸問題。
  • 学習後、モデルは Hugging Face Hub にプッシュでき、評価や可視化が可能です。

完全チュートリアルのノートブックは以下で入手できます。 https://github.com/huggingface/deep-rl-class/blob/main/unit8/unit8.ipynb

実務者への示唆

  • 安定性 – PPO のクリッピング機構は、TRPO の重い計算負荷なしに安定した方策学習を実現する実用的かつ低コストな手段です。
  • アクセシビリティ – 記事のコードファーストアプローチにより、初心者でも PPO を手軽に扱える一方で、研究レベルの細部にも触れられます。
  • 拡張性 – 学習済みモデルを Hub にプッシュすれば、コミュニティ全体で共有・ベンチマーク・反復が可能です。

Deep RL コースの次のステップ

本チュートリアルは、全 8 ユニットからなるシリーズの一部です。

  • Advantage Actor‑Critic（A2C） – ハイブリッドな価値/方策手法。
  • PPO – 本ユニットの中心テーマ。
  • 今後のユニットでは、マルチエージェント設定、オフライン RL、Decision Transformers、そして論文の深掘り解説を取り上げます。

学び続けよう、最高でいよう 🤗

Sources