人間の好みに基づくGPT-2のファインチューニング
OpenAIは、さまざまな自然言語タスクにおいてモデルを人間の好みに合わせるため、人間のフィードバックを用いて774MパラメータのGPT-2言語モデルをファインチューニングしました。この研究は、人間の好みからの強化学習（RL）がモデルの振る舞いをうまく変化させることができる一方で、要約タスクにおける逐語的なコピーへの好みなど、人間のラベル付け作業者が使用する単純なヒューリスティックを意図せず最適化してしまう可能性があることを示しています。
スタイリッシュなテキスト継続
スタイリッシュなテキスト継続のためのファインチューニングは非常にサンプル効率が高く、強力なパフォーマンスを達成するためにわずか5,000件の人間による4者比較のみを必要とします。OpenAIは、BookCorpusデータセットを使用して、ポジティブな感情や物理的な記述言語を用いたテキストの継続についてモデルをテストしました。
トレーニングに使用された人間のラベル付け作業者によれば、感情については88%、記述性については86%の割合で、ファインチューニングされたモデルがゼロショットのベースGPT-2モデルよりも好まれました。
要約と「スマート・コピアー」効果
CNN/Daily MailおよびTL;DRデータセットを使用した要約タスクは、スタイリッシュなテキスト継続よりも困難であることが判明し、60,000件の4者比較とオンラインでのデータ収集が必要となりました。結果は、モデルの新規性と正確性の間に大きな乖離があることを明らかにしました。
- コピーのヒューリスティック: RLでファインチューニングされたモデルは「スマート・コピアー（賢いコピー機）」となり、無関係な前置きをスキップしながら、主にソーステキストから文全体をコピーするようになりました。
- 正確性と新規性の対比: ゼロショットおよび教師ありファインチューニングされたモデルは、より新規性の高い要約（ソーステキストに現れない文）を生成しましたが、それらは頻繁に不正確でした。対照的に、RLでファインチューニングされたモデルは、コピーに依存しているため、大幅に正確でした。
- ラベル付け作業者の不一致: 人間のラベル付け作業者は、実際の人間による参照用要約よりも、RLでファインチューニングされたモデルや単純な「lead-3」ベースライン（最初の3文をコピーすること）を強く好みました。OpenAIの研究者は、ラベル付け作業者が作業を速めるために「要約がコピーであれば、それを選択する」というヒューリスティックに頼った可能性があり、それが意図された品質と評価された品質の間の不一致を生み出したと指摘しています。
要約の正確性と新規性の比較
| モデル | CNN/Daily Mail (新規性 %) | tl;dr (新規性 %) | CNN/Daily Mail (正確性) | tl;dr (正確性) |
|---|---|---|---|---|
| 参照用要約 | 96.7 | 98.9 | - | - |
| ゼロショット | 91.7 | 96.3 | 6/30 | 6/30 |
| ファインチューニング済み | 2.5 | 29.0 | 29/30 | 26/30 |
| 教師あり | 83.6 | 96.9 | 19/30 | 8/30 |
| 教師あり + ファインチューニング済み | 69.6 | 94.0 | 20/30 | 11/30 |
技術的な課題と学んだ教訓
OpenAIは、ファインチューニングのプロセスにおいて、主に3つの障害を特定しました。
オンライン・データ収集の困難さ
オンライン・データ収集（トレーニング中にポリシーが変化するにつれてサンプルを収集すること）は、要約タスクには必要でしたが、大きな複雑さを導入しました。単一のコンポーネントにおけるソフトウェアやMLのバグがシステム全体を破壊する可能性があり、データ収集に必要な低レイテンシ（約30分）が品質管理を難しいものにしました。
これを軽減するために、OpenAIは、大規模なデータバッチを収集することと、それらのバッチでトレーニングを行うことを交互に行うバッチ化されたデータ収集を中間的な手段として提案しています。
ラベル付けの曖昧さ
2つの要約を比較することは、しばしば主観的です。OpenAIは、ラベル付け作業者に問題点や推奨される修正案の口頭での説明を求めることが、単に2つのサンプルを比較させるよりも効果的であることを見出しました。これにより、曖昧さが減少し、品質管理が容易になります。
報酬信号のバグ
コードのリファクタリングにより、報酬とKLペナルティの符号が反転するバグが導入されました。その結果、自然言語を維持しながら、ネガティブな感情を最適化するモデルが生成されました。ラベル付け作業者に性的表現を含むテキストを罰するよう指示されていたため、モデルは排他的にそのコンテンツを出力することに学習してしまいました。これは、問題のあるトレーニングプロセスを即座に停止させるための「Andon cord（アンドン・コード）」のような監視メカニズムの必要性を強調しています。
AIの安全性と能力への影響
報酬学習を言語に適用することは、強化学習を実の実務的なタスクに、実用的かつ安全にすることへの重要なステップです。能力の観点からは、RLは教師あり学習では捉えられない間違いを修正することを可能にします。安全性の観点からは、トレーニング中に「嘘をつかない」といった基準を表現することを可能にし、amplification（増幅）やdebate（討論）のようなスケーラブルな安全性手法の基礎として機能します。