OpenAI、ヒューマンフィードバックからの強化学習とInstructGPTを用いたアラインメント戦略を発表

TL;DR

OpenAIは、ヒューマンフィードバックからの強化学習（RLHF）とInstructGPTファミリーが、デプロイされた言語モデルを整合させる主要なツールであり、GPT‑3の事前学習計算量の 2 % 未満 で強い人間の好みを実現できると発表しました。ただし、モデルには依然として顕著な欠点があり、同社はより高度なモデルを用いてアラインメント研究を自動化する計画です。

ヒューマンフィードバックからのRLを中心としたアラインメント手法

OpenAIは ヒューマンフィードバックからの強化学習（RLHF）が、現在デプロイされている言語モデルを整合させるために使用されている主要な手法である と述べています。GPT‑3 などの事前学習済みモデルを人間が生成した好みデータでファインチューニングすることで、InstructGPT と呼ばれるモデル群を作り出します。これらのモデルは、明示的な指示だけでなく、真実性・公平性・安全性といった暗黙の意図にも従うように訓練されています。

InstructGPT の効率性と性能

人間の好み: InstructGPT は、サイズが 100 倍大きい事前学習モデルよりもユーザーに好まれます。
計算コスト: InstructGPT のファインチューニングにかかる計算は、GPT‑3 の元々の事前学習に必要な < 2 % です。
ヒューマンフィードバックの労力: ファインチューニングプロセスにはおおよそ 20,000 時間 の人間フィードバックが投入されました。
顧客の好み: 実際に、OpenAI の API 利用者は生の事前学習モデルよりも InstructGPT を好む傾向にあります。

これらの結果は、比較的 modest な追加リソースで大幅なアラインメント向上が可能であることを示しています。

InstructGPT の現在の限界

OpenAI は 現在の InstructGPT バージョンは完全に整合しているわけではない と認めています。具体的な失敗モードは以下の通りです。

簡単な指示に対して信頼性のある従従ができない。
真実性が一貫しない。
有害なリクエストを拒否できない。
時折、偏見的または有害な出力を生成する。
基礎となる事前学習モデルに比べて創造性が低下しており、これは公開ベンチマークでは測れない欠点です。

同研究所は、RLHF の科学的理解を深め、人間フィードバックの質を向上させる方法を積極的に研究しています。

アラインメント研究インフラストラクチャ

OpenAI の 自然言語 API は、アラインメント実験のフィードバックループとして機能し、顧客が実際に支払って利用する多様な実世界タスクにモデルをさらします。この環境により、実践的なアラインメント手法の迅速な評価が可能になります。

現行モデルを超えるスケーリングアラインメント

AGI アラインメントとの違い: API の整合は、タスクが人間の監督下にあり、モデルが人間より賢くないため、汎用人工知能（AGI）全体の整合よりも容易です。
RLHF の役割: RLHF 単独で AGI アラインメントを解決できるとは考えにくいものの、スケーラブルなアラインメント提案の核心的ブロック と見なされています。
無限にスケーラブルな解決策は未発見: OpenAI は、永続的にスケーラブルなアラインメント手法はまだ見つかっておらず、AI 能力が向上するにつれて新たなアラインメント課題が出現すると指摘しています。

実用的ロードマップ：AI 支援型アラインメント研究

OpenAI は 実用的アプローチ を提案しています。

人間よりも速くアラインメント研究を加速させるシステムを構築する。
AI システムにより多くのアラインメントタスクを任せる。最終的には新しいアラインメント手法の構想・実装・評価を AI が行えるようにする。
人間の労力を AI が生成したアラインメント成果物のレビューにシフトする。生成自体は AI に任せる。
対象領域で人間レベルの能力を持つ、より狭い AI システム を目指す。これらは汎用または超人的システムよりも整合が容易と予想されます。

言語モデルがアラインメント自動化に適している理由

インターネットテキストから得た人間価値に関する膨大な知識を保持している。
独立したエージェントではなく、自律的な目標を追求しない。
アラインメントタスクは自然言語やコーディング問題として表現でき、モデルの得意分野に合致する。

将来のアラインメントアシスタント

OpenAI は、WebGPT、InstructGPT、Codex の次期バージョンが アラインメント研究アシスタント として機能し得ると述べていますが、現時点では有意義な貢献をするほどの能力はありません。同研究所は アラインメント研究に有用なモデルを訓練し、十分な能力に達した段階で外部のアラインメントコミュニティに提供する 計画です。

この投稿は、OpenAI が 2022 年 8 月に発表したアラインメント研究戦略を忠実に反映しており、原文以外の付加や推測は行っていません。