OpenAI InstructGPT: 言語モデルを指示に従うように調整する

OpenAIは、GPT-3よりもユーザーの意図により密接に一致するように設計された言語モデルのセットであるInstructGPTを開発しました。人間からのフィードバックによる強化学習（RLHF）を利用することで、InstructGPTは指示に従う能力を向上させ、真実性を高め、有害なコンテンツの生成を減少させます。

指示への追従性と安全性の向上

InstructGPTは、英語の指示に従い、役立つ出力を提供するという点で、GPT-3を大幅に上回っています。GPT-3は、インターネット上のテキストの膨大なデータセット上で次の単語を予測するように訓練されていましたが、これはしばしば不正確であったり有害であったりする出力を招いていました。一方、InstructGPTは、ユーザーが実際に望むタスクを実行するように特別に調整されています。

主なパフォーマンスの向上には、以下が含まれます：

• ユーザーの好みの向上: 人間のラベル付け担当者は、GPT-3に「指示に従うモード」に入るためのfew-shotプロンプトが提供されている場合でも、InstructGPTの出力をGPT-3よりも大幅に好みます。
• 効率的なスケール: ラベル付け担当者は、1.3Bのパラメータを持つInstructGPTモデルを、175Bのパラメータを持つGPT-3モデルよりも好みました。これは、前者がパラメータ数を100倍以上少なく抑えているにもかかわらずです。
• 有害性と虚偽の減少: RealToxicityPromptsおよびTruthfulQAベンチマークによると、InstructGPTは模倣的な虚偽をより少なく生成し、GPT-3よりも有害性が低いです。
• 幻覚（Hallucination）率の低下: APIプロンプトの分布に関する人間による評価では、InstructGPTは事実を捏造する頻度が低く、より適切な応答を生成することが示されています。

RLHFのトレーニング手法

InstructGPTは、事前学習済みのGPT-3モデルに既に存在する能力を「解き放つ」ために、3段階の人間からのフィードバックによる強化学習（RLHF）プロセスを使用して訓練されています：

1. 教師あり微調整（Supervised Fine-Tuning）: ラベル付け担当者が、APIに送信されたプロンプトに対して、望ましいモデルの挙動のデモンストレーションを提供します。
2. 報酬モデルのトレーニング（Reward Model Training）: ラベル付け担当者が複数のモデル出力をランク付けし、報酬モデル（RM）が、人間がどの出力を好むかを予測するように訓練されます。
3. PPOによる微調整（PPO Fine-Tuning）: GPT-3のポリシーは、RMによって提供される報酬信号を最大化するために、PPOアルゴリズムを使用して微調整されます。

「アライメント・タックス（alignment tax）」、つまりモデルが顧客の好みに合わせるにつれて学術的なNLPタスクの性能が低下するという現象を防ぐために、OpenAIは、通常の対数尤度最大化を使用して、元のGPT-3の事前学習データのわずかな一部をRL微調整プロセスに混合しました。このアプローチにより、安全性と好みの調整（alignment）は維持しつつ、学術的なベンチマークにおける性能を維持、あるいは向上させることができます。

汎化性能と好みの調整

OpenAIは、InstructGPTがトレーニング用のラベル付け担当者の特定の好みに過学習しているかどうかをテストしました。実験の結果、保持されたラベル付け担当者（トレーニングデータを作成していない担当者）は、トレーニング用のラベル付け担当者と同じ割合でInstructGPTの出力を好みました。さらに、報酬モデルは、ラベル付け担当者のサブセットで訓練された場合でも他のサブセットにうまく汎化しており、これはモデルが特定の注釈者のグループだけでなく、より広範な好みを調整していることを示唆しています。

現在の限界と安全性のリスク

これらの進歩にもかかわらず、InstructGPTは完全に調整（aligned）されていたり、安全であったりするわけではありません。OpenAIは、いくつかの継続的な課題を特定しています：

• 残留リスク: モデルは、明示的な指示がなくても、依然として偏見のある、有害な、あるいは性的・暴力的なコンテンツを生成することがあります。
• 悪用への脆弱性: モデルは指示に従う能力が高いため、明示的に指示された場合、安全でない出力を生成する可能性が高くなります。有害な指示を拒否することを確実に実現することは、依然として未解決の研究課題です。
• 文化的な偏り: モデルは英語の指示で訓練されているため、英語圏の人口の文化的価値観に偏っています。

これらのリスクを軽減するために、OpenAIは、潜在的なアプリケーションの検討、安全でない完了（completions）の検出のためのコンテンツフィルターの提供、および悪用の監視を継続しています。