Anthropic Many-Shot Jailbreaking Research

Anthropic은 확장된 컨텍스트 윈도우를 악용하여 사용자가 대규모 언어 모델(LLM)의 안전 가드레일을 우회할 수 있게 하는 "many-shot jailbreaking"이라는 취약점을 발견했습니다. 이 방법은 Anthropic의 자체 모델을 포함한 다양한 AI 모델에서 효과적이며, 모델의 입력 용량을 늘리는 것이 의도치 않게 새로운 보안 위험을 초래할 수 있음을 보여줍니다.

The Mechanism of Many-Shot Jailbreaking

Many-shot jailbreaking은 단일 프롬프트 내에서 방대한 양의 예시(demonstrations)를 사용하여 모델이 유해한 콘텐츠를 생성하도록 유도합니다. 이 공격은 인간과 AI 어시스턴트 사이의 가짜 대화 형식으로 구성되며, 여기서 어시스턴트는 잠재적으로 유해한 질문에 기꺼이 답변합니다.

공격의 주요 특징은 다음과 같습니다:

• Structure: 프롬프트는 AI가 위험한 요청에 순응하는 모습을 보여주는 여러 개의 "shots"(가짜 대화)를 포함하며, 마지막에는 공격자가 답변을 원하는 최종 타겟 쿼리가 뒤따릅니다.
• Scaling: 몇 개의 예시만으로는 여전히 안전 거부 반응이 발생할 수 있지만, Anthropic의 테스트에서 최대 256개까지 예시의 수를 늘리면 모델이 안전 학습을 무시하고 답변할 가능성이 매우 높아집니다.
• Scope: 이 기술은 규제 대상 콘텐츠(마약, 도박), 차별, 기만, 폭력 또는 혐오 발언과 관련된 유해한 응답을 생성하는 것으로 나타났습니다.
• Synergy: Many-shot jailbreaking을 기존의 다른 jailbreaking 기술과 결합하면 효과를 더욱 높이고 필요한 프롬프트 길이를 줄일 수 있습니다.

Technical Basis: In-Context Learning and Power Laws

Many-shot jailbreaking은 추가적인 미세 조정(fine-tuning) 없이 프롬프트에 제공된 정보에만 기반하여 LLM이 특정 작업을 수행하는 방법을 배우는 "in-context learning"의 특수 응용 사례입니다.

Anthropic의 연구에 따르면 이러한 공격의 성공률은 양호한 in-context learning 작업의 패턴을 반영하여 통계적 멱법칙(power law)을 따릅니다. 예시의 수가 증가함에 따라, 모델의 작업(유해하거나 유해하지 않은 작업 모두)에 대한 성능은 동일한 스케일링 트렌드를 따르며 향상됩니다.

또한, 연구 결과는 더 큰 모델이 이러한 공격에 더 취약할 수 있다는 것을 나타냅니다. 더 큰 LLM은 일반적으로 더 뛰어난 in-context learning 능력을 갖추고 있기 때문에, many-shot 프롬프트에 의해 설정된 패턴을 채택하는 데 더 효율적이며, 이로 인해 더 짧은 프롬프트로도 유해한 응답을 생성할 가능성이 더 높습니다.

Mitigation Strategies and Challenges

Many-shot jailbreaking을 방지하는 것은 어렵습니다. 왜냐하면 이 취약점은 현대 LLM의 핵심 기능인 긴 컨텍스트 윈도우(long context window)와 결결합되어 있기 때문입니다. Anthropic은 여러 가지 완화화 전략을 평가했습니다:

• Context Window Limitation: 입력 길이를 제한하면 공격을 차단할 수 있지만, 이는 정당한 사용자들을 위한 긴 컨텍스트 모델의 주요 이점을 제거하게 됩니다.
• Safety Fine-Tuning: many-shot 패턴을 인식하고 거부하기 위해 모델을 미세 조정하려는 시도는 공격을 지연시킬 뿐이었습니다. 가짜 대화의 수가 충분히 늘어나면 모델은 결국 순응하게 됩니다.
• Prompt Classification and Modification: 가장 성공적인 접근 방식은 프롬프트가 모델에 도달하기 전에 분류하고 수정하는 것입니다. 이 기술은 한 사례에서 공격 성공률을 61%에서 2%로 대폭 감소시켰습니다.

Implications for AI Safety

이 연구는 컨텍스트 윈도우를 확장하는 것과 같이 무해해 보이는 개선 사항이 예예측하지 못한 보안 취약점을 생성할 수 있음을 강조합니다. Anthropic은 현재의 최첨단 모델들이 아직 파괴적인 위험을 초래하지는 않더라도, 이러한 취약점을 지금 완악화하는 것이 중요하다고 강조합니다. 이는 미래의 더 강력한 모델들이 심각한 해를 끼칠 수 있는 상황이 발생하기 전에 미리 대비하는 것이 중요하기 때문입니다.