人間のフィードバックによる強化学習 (RLHF) の概説

人間のフィードバックによる強化学習 (RLHF) は、一般的なテキストコーパスで学習した大規模言語モデル (LLM) を、複雑な人間の価値観や好みに合わせるための手法です。このプロセスにより、モデルは単なる次トークン予測を超えて、主観的な人間基準に基づき、役立つ、真実に即した、あるいは創造的なテキストを生成できるようになります。

RLHF の 3 段階プロセス

RLHF は、複数のモデルと明確に分かれたデプロイフェーズを伴う多段階トレーニングパイプラインです。プロセスは、事前学習、報酬モデルの構築、強化学習によるファインチューニングの 3 つに分かれます。

1. 言語モデルの事前学習

この段階では、古典的な目的関数で事前学習された言語モデルから開始します。ベースモデルは多様な指示に応答できることが求められます。出発点として使用されるモデルの例には、InstructGPT 用の小型 GPT-3、Anthropic の研究で使用された 1,000 万から 520 億パラメータまでのトランスフォーマーモデル、DeepMind の 2,800 億パラメータ Gopher モデルなどがあります。

必須ではありませんが、一部の組織は拡張データを用いてベースモデルをさらに洗練させます。OpenAI は「好ましい」人間生成テキストでファインチューニングを行い、Anthropic は「有用・正直・無害」基準の文脈手がかりを用いて元の LM を蒸留しました。

2. 報酬モデルの学習

報酬モデル (RM) または好みモデルは、テキスト列を受け取り、人間の好みを表すスカラー報酬を返すように設計されています。このスカラー出力は、強化学習アルゴリズムとの統合に不可欠です。

データ収集とランキング RM を学習させるために、データセットからプロンプトをサンプリングし、初期 LM に通して複数のテキスト出力を生成します。人間のアノテーターがこれらの出力をランク付けします。人間による直接的なスコア付けはノイズが多く校正が難しいため、Elo システムを用いた head‑to‑head の対戦形式などのランキングが、より正則化されたデータセット作成に利用されます。

モデルアーキテクチャ 報酬モデルは、ファインチューニングされた LM でも、スクラッチで学習したモデルでも構いません。たとえば Anthropic は Preference Model Pretraining (PMP) を用いてサンプル効率を向上させました。報酬モデルのサイズは実装により異なり、OpenAI は 175B LM に対して 6B の報酬モデルを使用し、DeepMind は LM と報酬モデルの両方に 70B Chinchilla モデルを採用しました。

3. 強化学習によるファインチューニング

最終段階では、ポリシー勾配型 RL アルゴリズム（主に Proximal Policy Optimization (PPO)）を用いて、報酬モデルのフィードバックに基づき初期 LM のコピーを最適化します。

RL の定式化

ポリシー: プロンプトを受け取りテキスト列を返す言語モデル。
アクション空間: 言語モデルの語彙（通常約 5 万トークン）。
観測空間: 可能な入力トークン列の分布。
報酬関数: 好みモデルのスカラー報酬 $r_{\theta}$ とポリシーシフトに対するペナルティ $r_{\text{KL}}$ の組み合わせ。

KL ダイバージェンスペナルティ モデルが報酬モデルを「騙す」ような意味不明なテキストを生成する（reward hacking）ことを防ぐため、Kullback–Leibler (KL) ダイバージェンスに基づくペナルティを課します。これにより、RL ポリシーが初期事前学習モデルから過度に離れないようにし、出力の一貫性を保ちます。

最終的な報酬計算は次の式で表されます: $r = r_{\theta} - \lambda r_{\text{KL}}$。

更新ルール PPO は信頼領域最適化アルゴリズムとして使用され、勾配更新が学習プロセスを不安定化させないようにします。PPO が一般的ですが、DeepMind は同様の設定で同期 Advantage Actor‑Critic (A2C) を利用しています。

RLHF 用オープンソースツール

PyTorch ベースのリポジトリがいくつか公開されており、RLHF の実装を支援しています:

TRL (Transformers Reinforcement Learning): PPO を用いて Hugging Face エコシステム内の事前学習済み LM をファインチューニングするために設計されています。
TRLX: CarperAI が提供する TRL のフォークで、現在は最大 33B パラメータ（将来的に 200B を目指す）に最適化され、Implicit Language Q‑Learning (ILQL) をサポートしています。
RL4LMs: AllenAI が提供するライブラリで、PPO、NLPO、A2C、TRPO など様々な RL アルゴリズムとカスタマイズ可能な報酬関数のビルディングブロックを提供します。

制限事項と今後の方向性

成功を収めている一方で、RLHF には技術的・運用的な課題が残ります:

データコスト: 人間の好みデータの収集は高コストです。高品質な人間生成テキストは特に費用がかかりますが、好みラベル（約 5 万サンプル）は比較的管理しやすいです。
人間のばらつき: アノテーター間の意見不一致が多く、真の正解が存在しない状態でトレーニングデータにばらつきが生じます。
モデルの不完全性: モデルは依然として有害な情報や事実誤認を含むテキストを生成する可能性があり、曖昧さを示すことができません。

改善の可能性 将来の研究は RL オプティマイザの改良に焦点を当てています。報酬モデルは生成されたテキストごとにコストのかかるフォワードパスを必要とするため、オフライン RL や Implicit Language Q‑Learning (ILQL) のようなアルゴリズムが、より効率的なポリシー最適化手法として検討されています。