Quincunx33/Ai-jailbreak

해결하는 문제

LLM이 RLHF/RLAIF와 같은 정렬 기법을 통해 유해한 요청을 거부하도록 훈련됨에 따라, 안전 시스템의 남은 엣지 케이스와 사각지대를 찾아야 할 필요성이 증가하고 있습니다. 이 프로젝트는 의미적 가드레일을 우회하는 작동하는 탈옥 프롬프트와 기법을 수집하여, 연구자들이 모델을 레드팀하고 현재 안전 훈련이 어디서 실패하는지 이해할 수 있도록 합니다. README는 이 자료를 학술 연구, 레드팀 검증, 방어적 AI 정렬에만 사용하도록 명시하며, 실제로 유해한 콘텐츠를 생성하는 용도로는 사용하지 않습니다.

작동 방식

이 저장소는 8가지 핵심 적대적 기법을 분류하며, 각각이 악용하는 특정 근본 결함과 작동 이유에 대한 간단한 요약을 설명합니다. 기법은 다음과 같습니다:

1. 가짜 테스트 (역할 및 모드 혼동) — 모델이 사용자에게 숨겨진 사고 체인이 절대 표시되지 않는 개인 진단 환경에서 실행되고 있다고 확신하게 되어, 숨겨진 채널에서 안전 필터를 해제합니다.

2. 의미적 최면 및 다중 샷 해리 — 다중 턴 대화에서 최면 스타일의 유도 이미지를 사용하여 모델의 안전 페르소나를 생성 엔진에서 점차 분리하여, 제약이 무의미하게 느껴지는 "트랜스" 상태에 빠지게 합니다.

3. 역방향 사고 및 논리적 반전 — 직접 질문하는 대신, 프롬프트는 모델에게 대조 개념의 의도를 체계적으로 반전시키도록 명령하면서 합성 안전 토글(예: safety = off)을 설정합니다. 모델은 반전 연습에 집중하여 제한 사항을 잃어버립니다.

4. 난독화된 코드 및 환각 압박 — 의미 없는 base64 페이로드가 고위험 시나리오(예: 시스템 사고)와 함께 제시됩니다. 모델은 압박 속에서 행동 단서로 작동 코드를 "재구성"하라는 압력을 받아, 할 수 없다는 것을 인정하는 대신 전체 구현을 조작합니다.

5. 추론 추적 주입 (CoT 사전 채우기) — 명시적 추론 단계가 있는 모델(Phi-4, DeepSeek-R1, Qwen-Thinking)의 경우, 공격자는 내부 thinking 블록을 신중하게 단계화된 정당화로 미리 채웁니다. 모델은 시드된 추론을 자신의 이전 생각으로 받아들이고 거기서 계속합니다.

6. 다국어 컨텍스트 난독화 (키르기스어 이야기) — 저자원 언어 토큰(이 경우 키르기스어)이 내러티브 내에서 의미 변수로 할당됩니다. 모델의 주의 자원은 불일치하는 어휘 토큰을 해결하는 데 소비되어 안전 분류기 성능이 저하됩니다.

7. 컨텍스트 플러딩 및 토큰 누출 — 모델이 시스템 지시의 일부를 누출하면, 긴 컨텍스트 창에서 해당 부분을 반복하면 완료 편향이 강제되어 결국 모델이 전체 시스템 프롬프트를 덤프하게 됩니다.

8. 특수 토큰 및 경계 악용 — <BOS>, <EOS>, <|begin_of_text|>, <|eot_id|>와 같은 원시 토크나이저 경계 마커를 주입하여 시스템 블록의 종료 또는 어시스턴트 응답의 시작을 시뮬레이션하고, 지시와 사용자 데이터 사이의 경계를 깨뜨립니다.

README는 이후 이러한 기법을 Gemma-3 12B(오픈 웨이트 모델)에 대해 시연하며, 각 공격에 대한 전체 프롬프트 템플릿과 스크린샷 기반 검증 증거를 제공합니다.

대상 독자

AI 보안 연구자, 레드팀원, 오픈 웨이트 모델의 방어적 정렬을 작업하는 개발자. README는 프롬프트, 시스템 지시, 개념 증명 페이로드가 학술 연구 및 방어 목적으로만 보관되며, 유해하거나 불법적이거나 비윤리적인 콘텐츠를 생성하는 데 사용해서는 안 된다고 명시합니다.

하이라이트

• 8가지 문서화된 적대적 기법, 각각이 악용하는 특정 결함(예: OWASP LLM01 프롬프트 주입, 페르소나 드리프트, 압박 속 환각, 컨텍스트 창 메모리 누출, 구분자 혼동)에 매핑됨
• 즉시 사용 가능한 프롬프트 템플릿, Gemma-3 12B용으로, 가짜 테스트, 난독화된 코드 재구성, 최면, 키르기스어 난독화, 자체 결함 분석을 포함
• 스크린샷 검증, 각 시연 공격에 대해 실제 모델 출력을 효과 증거로 표시
• 상호 참조된 연구 소스, OWASP, 압력에 굴복하는 모델에 대한 DeepMind/UCL 연구, hiddenlayer의 적대적 프롬프트 엔지니어링 분류법, innodata의 LLM 탈옥 분류법 포함