ポリシー勾配、PPOクリッピング、およびLLMのためのChain‑of‑Thought RL – スタンフォード CS229 講義 20

ポリシー勾配の導出とベースライン

ポリシー勾配定理は、期待リターンの勾配が、時間の経過とともに行動の対数確率の勾配とリターンの積の和の期待値に等しいと述べています。報酬がない場合、対数確率の勾配の期待値はゼロになるため、行動に依存しない任意の項を加えても引いても期待値は変わりません。この性質により、状態のみに依存するベースラインを導入することができます。そのようなベースラインを引いても期待される勾配は変わりませんが、実際には分散を減らすことができます。

重要サンプリングとオンポリシー制限

ナイーブなポリシー勾配推定器は、現在のポリシーから軌跡をサンプリングする必要があり、これによりオンポリシーとなります：パラメータ更新後、古いサンプルは再利用できません。重要サンプリングは、古いポリシー π_old からのサンプルを比率 π_θ(a|s) / π_old(a|s) で重み付け直すことによりこれを修正します。実際には、比率の行動部分のみが計算可能であり、これにより状態については古いポリシーを使用し、行動分布については比率で修正する推定器が得られます。

ポリシー最適化の近傍法（PPO）クリッピングルール

PPOは、確率比をクリッピングして過大な更新を防ぐことにより、サロゲート目的関数を変更します。与えられたアドバンテージ Â_t に対して：

• Â_t > 0 で、比率 r_t = π_θ(a_t|s_t) / π_old(a_t|s_t) が 1 + ε_high を超える場合、寄与は (1 + ε_high) Â_t にクリッピングされ、その結果勾配はゼロになります。
• Â_t > 0 で、r_t がクリッピング閾値以下の場合、項は r_t Â_t となり、勾配が取られます。
• Â_t < 0 で、r_t が 1 − ε_low 未満の場合、寄与は (1 − ε_low) Â_t にクリッピングされ、再び勾配はゼロになります。
• Â_t < 0 で、r_t が下限閾値以上の場合、項は r_t Â_t となり、勾配が取られます。 講義で言及された典型的な値は ε_high ≈ 0.28、ε_low ≈ 0.2 です。このクリッピングは、新しいポリシーが古いポリシーに対して十分に良いか悪いかであるときにはさらなる更新が不要であるという考えを実装しています。

PPOのバリエーション（GRPOとSIPO）

この講義では、基本的なPPOスキームの2つの拡張が説明されています。

• GRPO（「POの高度なバージョン」と呼ばれる）は同じクリッピングロジックを適用しますが、比率が上限閾値を超えるときは、定数クリッピング値を保持する代わりに寄与をゼロに設定します。
• SIPO（トランスクリプトでは「SISポール」と呼ばれる）は、比率が大きいときに非ゼロの定数勾配を保持する点で異なります：項をゼロにする代わりに比率を1にクリッピングすることで、大きさを制限しながら一部の学習信号を保持します。 両バリエーションは安定性と学習速度のトレードオフを狙っており、SIPOは高比率領域においてより多くの勾配信号を保持します。

Chain‑of‑Thought推論のためのLLMへのRL適用

言語モデルがチェーン・オブ・ソート推論を生成するように訓練するため、生成プロセスはマルコフ決定過程として扱われます。ここで状態はプロンプトとこれまでに生成されたトークンの連結、行動は次のトークン、遷移は決定論的（選択されたトークンを追加）です。報酬は軌跡の終わりにのみ与えられ、最終回答が真実の解と一致するかどうかに基づきます；中間の思考トークンは直接報酬されません。この設定により、PPOやそのバリエーションを含む任意のポリシー勾配法を使用して、正解を出力するようにモデルを最適化しつつ、マルチステップ推論を促進することができます。

LLMトレーニングにおける報酬設計とベースライン

報酬がバイナリ（正解なら1、そうでなければ0）であるため、分散が大きくなる可能性があります。一般的なベースラインは、同じプロンプトに対して複数サンプリングされた軌跡の平均報酬です：8回のロールアウトについて報酬 R₁…R₈ を計算し、その平均 R̄ を求め、各個々の報酬から R̄ を引いてアドバンテージ推定値を得ます。このベースラインはプロンプト（状態）のみに依存するため、それを引いても期待される勾配が変わらないという条件を満たします。標準偏差で割るなどの追加の正規化は適用可能ですが、さらなる研究のためのオプションとして言及されました。