Anthropic Many-Shot Jailbreaking Research

Anthropicは、「many-shot jailbreaking」と呼ばれる脆弱性を発見しました。これは、拡張されたコンテキストウィンドウを利用して、大規模言語モデル（LLM）の安全ガードレールを回避する手法です。この手法は、Anthropic自身のモデルを含む様々なAIモデルに対して有効であり、モデルの入力容量を増やすことが、意図せず新しいセキュリティリスクを導入する可能性があることを示しています。

The Mechanism of Many-Shot Jailbreaking

Many-shot jailbreakingは、単一のプロンプト内に大量のデモンストレーションを含めることで、モデルを有害なコンテンツの生成へと誘導します。この攻撃は、人間とAIアシスタントとの間の偽の対話として構成されており、そこではアシスタントが潜在的に有害なクエリに対して快く回答します。

主な攻撃の特徴は以下の通りです：

• Structure: プロンプトには、AIが危険な要求に従う様子を示す複数の「shots」（偽の対話）が含まれており、その後に攻撃者が回答を求める最終的なターゲットクエリが続きます。
• Scaling: 数例の例示では、依然として安全性の拒否がトリガーされる場合がありますが、例示の数を増やす（Anthropicのテストでは最大256個）ことで、モデルが安全トレーニングを上書きする可能性が大幅に増加します。
• Scope: この手法は、規制対象のコンテンツ（薬物、ギャンブル）、差別、欺瞞、および暴力的または憎悪的な発言に関連する有害な回答を生成することが示されています。
• Synergy: Many-shot jailbreakingを他の既存のジェイルブレイク手法と組み合わせることで、有効性をさらに高め、必要なプロンプトの長さを短縮することができます。

Technical Basis: In-Context Learning and Power Laws

Many-shot jailbreakingは、「in-context learning」の特殊な応用です。ここでは、LLMは追加のファインチューニングなしに、プロンプトで提供された情報のみに基づいてタスクを実行する方法を学習します。

Anthropicの研究によれば、これらの攻撃の成功率は統計的なべき乗則（power law）に従っており、これは良性なin-context learningタスクのパターンを反映しています。デモンストレーションの数が増えるにつれて、タスク（良性か有害かに関わらず）に対するモデルのパフォーマンスは、同じスケーリング傾向に従って向上します。

さらに、研究は、より大規模なモデルの方が、この攻撃に対してより脆弱である場合が多いことを示しています。大規模なLLMは一般的に優れたin-context learning能力を備えているため、many-shotプロンプトによって確立されたパターンを採用する効率が高く、より短いプロンプトで有害な回答を生成する可能性が高くなります。

Mitigation Strategies and Challenges

Many-shot jailbreakingを防ぐことは困難です。なぜなら、この脆弱性は現代のLLMの核心的な機能である長いコンテキストウィンドウに結びついているからです。Anthropicはいくつかの緩和策を検討しました：

• Context Window Limitation: 入力長を制限することは攻撃を阻止できますが、それは正当なユーザーにとっての長いコンテキストモデルの主な利点を取り除いてしまいます。
• Safety Fine-Tuning: Many-shotパターンを認識して拒否するようにモデルをファインチューニングしようとする試みは、攻撃を遅らせるだけでありました。偽の対話の数が十分に増加すれば、モデルは最終的に従ってしまうことになります。
• Prompt Classification and Modification: 最も成功したアプローチは、プロンプトがモデルに到達する前に分類し、修正することです。この手法は、ある事例において、攻撃の成功率を61%から2%に大幅に減少させました。

Implications for AI Safety

この研究は、コンテキストウィンドウの拡張のような、一見無害に見える改善が、予期せぬセキュリティ脆弱性を生み出す可能性があることを強調しています。Anthropicは、現在の最先端モデルがまだ壊滅的なリスクをもたらす可能性はないものの、これらの脆弱性を今緩和しておくことが、将来の、より強力で深刻な危害を及ぼし得るモデルに適用される前に、極めて重要であると強調しています。