対話エージェントを有用にする要素は何か？技術分析

TL;DR

最新の対話エージェントは、事前学習済みのベース言語モデルに一連のファインチューニング手法を適用し、単純なテキスト予測から指示に従う能力へと転換することで作られます。実用性を支える主な要因は、タスクの汎用性を高める Instruction Fine-Tuning (IFT)、安全性と有用性を確保する Supervised Fine-Tuning (SFT)、人間の好みに合わせる Reinforcement Learning from Human Feedback (RLHF)、そして複雑な推論を可能にする Chain-of-Thought (CoT) です。

Comparative Landscape of Conversational Agents

ChatGPT がこれらの手法を広めた一方で、複数の組織が異なるトレーニングデータとアラインメント手法の組み合わせで類似の対話エージェントを開発しています。

Model Organization Size Pre-trained Base Web Access RLHF
LaMDA Google 137B Unknown Yes No
BlenderBot 3 Meta 175B OPT Yes No
Sparrow DeepMind 70B Chinchilla Yes Yes
ChatGPT/InstructGPT OpenAI 175B GPT-3.5 No Yes
Assistant Anthropic 52B Unknown No Yes

これらのモデルに共通するのは 指示に従う ことを目的としており、エージェントは詩の作成やテキストの要約といったユーザー指定のタスクを実行できます。

Instruction Fine-Tuning (IFT)

Instruction Fine-Tuning は、ベースモデルの目的を次トークンの予測から特定の指示に従うことへと変換します。このプロセスでは、指示、任意の入力、出力の3要素からなるデモンストレーションでモデルをファインチューニングします。

Data Sourcing for IFT

IFT データセットは、人間とモデルの貢献の幅広いスペクトルを通じて作成されます。

  • Purely Model-Generated: Unnatural Instructions のようなデータセットは、完全に言語モデルによって生成されます。
  • Bootstrapped: Self-instruct は、高品質なシードデータの小規模セットを用いて新しい指示と出力を生成します。
  • Hand-Crafted: Super-natural instructions は、コミュニティ主導の大規模な人手によるデータ作成に依存しています。
  • Template-Based: T0、FLAN LM、Natural Instructions などのプロジェクトは、既存の NLP データセットを統一された指示スキーマに変換します。

Safety and Alignment Techniques

モデルが回避的になったり安全でないコンテンツを生成したりしないように、開発者は特定のアラインメント戦略を採用します。

Supervised Fine-Tuning (SFT)

SFT は、特に有用性と無害性に焦点を当てた高品質な人手で注釈付けされたデータでベースモデルをファインチューニングすることを指します。IFT は SFT のサブセットですが、初期の指示チューニングの後に安全性に関するトピックに特化して SFT フェーズが頻繁に使用されます。

Reinforcement Learning from Human Feedback (RLHF)

InstructGPT、Sparrow、Anthropic の Constitutional AI で使用されている RLHF は、次の3段階のプロセスでモデルを人間の好みに合わせます。

  1. 人間のアノテーターが複数のモデル応答をランク付けする。
  2. これらのランク付けを用いて好みモデルを訓練し、スカラー報酬を生成する。
  3. 対話エージェントを強化学習で訓練し、その報酬を最大化する。

Improving Reasoning with Chain-of-Thought (CoT)

Chain-of-Thought のプロンプトとファインチューニングは、エージェントにステップバイステップの推論を引き出します。推論過程に対する人間の注釈を含むデータセットで訓練することで、モデルは以下の領域で大幅な性能向上を示します。

  • Commonsense reasoning（常識的推論）
  • Arithmetic（算術）
  • Symbolic reasoning（記号的推論）

さらに、CoT のファインチューニングは、場合によっては RLHF よりも無害性を効果的に向上させ、センシティブなプロンプトに対して回避的な応答（例："I cannot respond to this question"）の頻度を減少させます。

Key Technical Takeaways

  • Data Efficiency（データ効率）: Instruction Fine-Tuning は、事前学習で使用されるデータのごく一部（数百サンプル程度）しか必要としません。
  • Safety via SFT（SFT による安全性）: SFT における人間の注釈は、モデル出力が安全かつ有用であることを保証する上で重要です。
  • Reasoning via CoT（CoT による推論）: CoT のファインチューニングは、複雑な思考タスクに不可欠であり、センシティブなトピックでのモデルの回避性を低減します。

Open Questions in Dialog Agent Development

この分野には未解決の課題がいくつか残っています。

  • RL Necessity（RL の必要性）: RLHF の性能が、より高品質な IFT または SFT データだけで達成できるかは不明です。
  • SFT vs. RLHF: LaMDA のように SFT のみで安全性を確保するアプローチと、Sparrow のように SFT と RLHF を組み合わせたアプローチの相対的有効性は、さらなる比較が必要です。
  • Pre-training Trade-offs（事前学習のトレードオフ）: 高度なファインチューニング手法と組み合わせた際に必要な最適な事前学習量はまだ定義されていません。
  • Red-Teaming Reproducibility（レッドチーミングの再現性）: 現在、レッドチーミング（失敗モードを探索し将来の学習に反映させる）の効果を記録・再現する体系的な方法はありません。

Sources