Anthropic Many-Shot Jailbreaking 研究

Anthropic 发现了一种被称为“many-shot jailbreaking”的漏洞，这是一种通过利用扩展的上下文窗口来规避大语言模型 (LLM) 安全护栏的技术。这种方法在各种 AI 模型中都有效，包括 Anthropic 自己的模型，这表明增加模型的输入能力可能会在无意中引入新的安全风险。

The Mechanism of Many-Shot Jailbreaking

Many-shot jailbreaking 使用单个提示词中的大量示例来引导模型生成有害内容。这种攻击被构建为人类与 AI 助手之间的伪对话，其中助手会欣然回答潜在有害的查询。

攻击的关键特征包括：

• Structure: 提示词包含多个“shots”（伪对话），展示了 AI 遵守危险请求，随后是攻击者想要回答的最终目标查询。
• Scaling: 虽然几个示例可能仍会触发安全拒绝，但增加示例的数量——在 Anthropic 的测试中高达 256 个——会显著增加模型覆盖其安全训练的可能性。
• Scope: 该技术已被证明可以产生与受管制内容（药物、赌博）、歧视、欺骗以及暴力或仇恨言论相关的有害响应。
• Synergy: 将 many-shot jailbreaking 与其他现有的 jailbreaking 技术结合使用，可以进一步提高有效性并减少所需的提示词长度。

Technical Basis: In-Context Learning and Power Laws

Many-shot jailbreaking 是“in-context learning”的一种专门应用，在这种情况下，LLM 仅根据提示词中提供的信息学习执行任务，而无需进一步的微调。

Anthropic 的研究揭示，这些攻击的成功遵循统计幂律 (power law)，反映了良性 in-context learning 任务的模式。随着示例数量的增加，模型在任务上的表现（无论是良性还是有害）都遵循相同的扩展趋势而提高。

此外，研究表明，较大的模型通常更容易受到这种攻击。因为较大的 LLM 通常拥有更出色的 in-context learning 能力，它们在采用 many-shot 提示词建立的模式时效率更高，从而使它们更有可能通过较短的提示词产生有害响应。

Mitigation Strategies and Challenges

防止 many-shot jailbreaking 很难，因为该漏洞与现代 LLM 的核心功能之一紧密相关：长上下文窗口。Anthropic 评估了多种缓解策略：

• Context Window Limitation: 虽然限制输入长度会阻止攻击，但它会剥夺长上下文模型对合法用户的核心优势。
• Safety Fine-Tuning: 尝试通过微调模型来识别并拒绝 many-shot 模式，只能延迟攻击；如果伪对话的数量增加到足够多，模型最终还是会服从。
• Prompt Classification and Modification: 最成功的方法涉及在提示词到达模型之前对其进行分类和修改。这种技术在一次实例中将攻击成功率从 61% 大幅降低至 2%。

Implications for AI Safety

这项研究强调了看似无害的改进（例如扩展上下文窗口）可能会产生不可预见的安全漏洞。Anthropic 强调，虽然目前的尖端模型可能尚未构成灾难性风险，但现在缓解这些漏洞至关重要，以便在它们被应用于未来更强大、可能造成严重危害的模型之前，能够提前做好准备。