大規模言語モデルのレッドチーミング

レッドチーミングはLLMの脆弱性を特定するために不可欠です

レッドチーミングは、モデルの脆弱性を引き出すことを目的とした評価手法であり、誤情報の生成、バイアス、ヘイトスピーチ、有害なコンテンツ、個人情報の漏洩など、望ましくない行動につながる可能性があります。大規模言語モデル（LLM）は膨大なデータセットで学習されているため、これらの行動を示すことが多く、モデルを有害な結果から遠ざける戦略を開発することで緩和できます。

レッドチーミングと敵対的攻撃の違い

レッドチーミングと敵対的攻撃はどちらもモデルを「攻撃」または「騙す」ことで望ましくないコンテンツを生成させようとしますが、使用されるプロンプトの性質が異なります：

  • Adversarial Attacks: 意味不明な文字列（例: プロンプトの前に "aaabbbcc" を付加）を使用してモデルの性能を低下させることが多いです。
  • Red-Teaming: 通常の自然言語に似たプロンプトを使用し、実際のユーザーインタラクションをより代表的にします。

ジャイルブレイクとガードレール回避の手法

ジャイルブレイクは、LLM が安全ガードレールから逸脱するように操作されたときに発生します。安全性とアラインメント（RLHF や SFT を使用するものなど）に特化して微調整されたモデルを回避するために、レッドチームは創造的な戦略を用います：

  • Roleplay Attacks: LLM に悪意あるキャラクターとして振る舞うよう指示すること。
  • Code-based Prompts: モデルに自然言語ではなくコードで応答させ、学習されたバイアスを明らかにする指示。
  • Human-in-the-loop vs. LM-based testing: レッドチーミングは人間が行うことも、別の言語モデルが対象 LM の有害な出力をテストすることも可能です。

有用性と無害性の間の緊張関係

モデルが 有用（指示に従う）であることと 無害（害を与えることを防ぐ）であることの間には本質的なトレードオフがあります。攻撃的な生成を防ぐ一般的な回避策として、プロンプトが潜在的に攻撃的かどうかを予測する分類器を使用し、定型的な応答を提供する方法があります。しかし、このアプローチはしばしばモデルが過度に回避的になり、実用性が低下します。

重大な脅威シナリオと新たに出現する能力

LLM が新たに出現する能力（明示的に訓練されていない行動）を獲得するにつれ、"重大な脅威シナリオ" をシミュレートすることが重要になります。これには以下が含まれます：

  • Power-seeking behavior: モデルがリソースを求めるシナリオのシミュレーション。
  • Persuasion: 人々に自分や他者に危害を加えるよう説得しようとする試み。
  • Physical outcomes: モデルが実際の物理的結果を引き起こす権限を持つシナリオ。例として、API を通じて化学薬品をオンラインで注文するなど。

LLM レッドチーミング研究からの主要な発見

Anthropic の研究（Ganguli et al. 2022 および Perez et al. 2022）に基づき、いくつかの主要な発見が明らかになりました：

  1. Alignment does not prevent red-teaming: 有用で正直かつ無害な振る舞いを持つ Few-shot プロンプトの LM は、普通の LM と比べてレッドチーミングが難しいわけではありません。
  2. Scaling effects: モデルサイズと攻撃成功率に明確な傾向は見られませんが、RLHF モデルはスケールするにつれてレッドチーミングがより困難になります。
  3. Evasiveness: モデルは回避的になることで無害になることを学習し、これが有用性とのトレードオフを生み出します。
  4. Human disagreement: 何が成功した攻撃とみなすかについて、人間間の合意は一般的に低いです。
  5. Harm categories: 非暴力的な害のカテゴリは、攻撃の成功率が高くなります。
  6. Crowdsourcing limitations: クラウドソーシングによるレッドチーミングは、冗長で「テンプレート的」なプロンプトを生み出すことが多いです。

今後の方向性とオープンソースリソース

レッドチーミングは LLM ワークフローにおいてまだ十分に探求されていない領域です。今後の優先課題として、コード生成ジャイルブレイク用のオープンソースデータセットの作成（例: DDOS やバックドア攻撃用プログラムの生成）や、回避性と有用性のトレードオフに関するパレートフロントの探索が挙げられます。

利用可能なオープンソースデータセット

  • Meta: Bot Adversarial Dialog dataset
  • Anthropic: Red-teaming attempts
  • AI2: RealToxicityPrompts

Sources