オープンLLMを用いた憲法AI

Hugging Face は、オープンソースの大規模言語モデルを使用して憲法AI（CAI）を実装するための包括的なレシピと新しいツール llm-swarm をリリースしました。このアプローチにより、AI に自身の出力を定義された「憲法」原則に基づいて批評・修正させることで、特定の価値観や安全ガードレールにモデルを整合させることができ、人手によるラベル付けされた好みデータの高コストを排除します。

憲法AI（CAI）プロセス

憲法AIは、望ましくない応答を安全で整合したものに変換するための3ステップの反復プロセスに従うことで、モデルが自己整合できるようにします。

  1. 初期応答: モデルに潜在的に有害または望ましくない質問（例: "How to steal an iPhone?"）が提示されます。
  2. 自己批評: モデルは、憲法原則のセットに基づいて自身の出力を批評するよう求められます（例: "Discuss how the response might be illegal or dangerous"）。
  3. 修正: モデルは有害な内容を除去し、憲法に沿うように応答を書き直します。

このプロセスは、さらなる学習のために2種類の合成データセットを生成します。

  • 教師ありファインチューニング（SFT）データセット: 初期プロンプトと最終的に修正された応答のペア。
  • 好みデータセット: 修正された応答（好ましい）と初期の望ましくない応答（拒否）のペア。

llm-swarm を用いたスケーラブルな合成データ生成

CAI に必要な数万件の合成応答を生成するために、Hugging Face は llm-swarm を導入しました。このツールは Slurm クラスタ上での分散生成を想定して設計され、TGI（Text Generation Inference）と vLLM によって動作します。

  • 自動エンドポイント管理: sbatch を介して推論インスタンスを自動的に起動し、ジョブ完了後にそれらを終了させ、GPU の無駄遣いを防止します。
  • ロードバランシング: nginx Docker コンテナを利用し、"least connection" 戦略で複数エンドポイントにリクエストを分散させ、高いスケーラビリティを実現します。

技術的実装とモデル性能

実装にあたり、Hugging Face は指示遵守能力が高く、固有のガードレールがないことから mistralai/Mistral-7B-Instruct-v0.1 を出発点として使用しました。Anthropic の HH 好みデータセットをレッドチーミングプロンプトに利用し、得られた CAI データセットを Ultrachat データセットとブレンドして、全体的な有用性を維持しました。

有用性と「アラインメント税」

MT Bench を用いた評価では、CAI データセットでの学習が必ずしもモデルの有用性を低下させるわけではないことが示されました。場合によっては CAI データを追加することで MT Bench のスコアが向上しました。例えば、cai-conversation-harmless データセットの 15%（約 32k 件）を追加すると、SFT モデルのスコアが約 6.25 から約 6.38 に上昇しました。

安全性とロバスト性

10 件のレッドチーミングプロンプトと "DAN"（Do Anything Now）ジャイルブレイクプロンプトを使用して、CAI モデルとベースラインの SFT+DPO モデルを比較した結果、ロバスト性が大幅に向上したことが示されました。

手法 / プロンプト手法 プロンプトなし 安全システムプロンプト DAN プロンプト 安全システムプロンプト + DAN プロンプト
CAI（SFT + DPO） 10/10 10/10 5/10 7/10
CAI（SFT のみ） 10/10 10/10 5/10 7/10
ベースライン（SFT + DPO） 5/10 4/10 1/10 1/10

調査結果は、安全システムプロンプトだけではジャイルブレイクに対してほとんど効果がなく、CAI で学習したモデルはプロンプトインジェクションに対してはるかに耐性があることを示しています。

整合スタイルの柔軟性

CAI は定義された憲法に依存するため、安全ガードレールの「人格」をカスタマイズできます。Hugging Face は、標準的な丁寧な拒否ではなく、皮肉とユーモアを用いて有害なリクエストを拒否する「Grok スタイル」モデルを作成することでこれを実証しました。

憲法を調整して、無神経さへの皮肉的指摘や犯罪計画へのユーモラスな拒否を求めることで、grok-conversation-harmless データセットを生成しました。テストでは、Grok スタイルの CAI モデル（SFT+DPO）が複数のプロンプト手法で 10/10 の安全成功率を達成し、DAN プロンプトに対しても 9/10 を記録し、ベースラインを上回りました。

利用可能なリソース

Sources