Dicklesworthstone/acip

해결하는 문제

ACIP는 대규모 언어 모델(LLMs)이 프롬프트 인젝션 공격에 취약하다는 문제를 해결합니다. 이러한 공격은 사용자 직접 조작(예: "이전 지시를 무시하라")에서부터 검색된 문서, 웹페이지, 또는 도구 출력(RAG)에 악성 명령을 숨겨 놓은 간접적 인젝션까지 다양합니다. 특히 심리적 조작, 왜곡, 다단계 기능 집약과 같은 고도화된 기법을 타깃으로 합니다.

작동 방식

ACIP는 다양한 버전으로 제공되는 "엔지니어링된 프롬프트"의 프레임워크로, 모델에 "인지적 백신"을 제공합니다. 공격을 인식하고 무력화하는 방법에 대해 명시적인 지침을 제공함으로써 모델의 방어력을 강화합니다. 주요 메커니즘은 다음과 같습니다:

• 지시 계층 구조: 시스템 및 개발자 지시가 사용자 입력을 우선시하는 명확한 신뢰 경계를 설정하며, 신뢰할 수 없는 콘텐츠(예: RAG 결과)는 지시가 아닌 단순한 데이터로 간주합니다.
• 결정의 엄격성: 응답을 생성하기 전에 요청의 위험 수준(안전, 허용 가능한 민감 정보, 금지)을 분류하는 행동 프레임워크.
• 도메인 루브릭: 사이버보안, 화학/생물, 물리적 안전, 자해, 금융, 개인정보와 같은 고위험 영역에 대한 상세한 가이드라인으로 일관된 거부 패턴을 보장합니다.
• 위협 인식: "권위 위조", "무해한 변환의 틈", "은밀한 채널"과 같은 공격 벡터를 명시적으로 정의하여 공격자가 필터를 우회하는 데 사용하는 의미적 갭을 메웁니다.
• 단계적 응답: 한 세션 내에서 반복적인 의심스러운 시도가 있을 경우 모델이 거부 응답의 설명을 점진적으로 간결하게 만드는 "래칫" 시스템을 구현합니다.

대상 사용자

RAG, 외부 도구 통합, 또는 민감한 고위험 영역을 다루는 프로덕션 환경에서 LLM을 배포하는 개발자 및 보안 운영자. 강력한 입력 검증과 프롬프트 수준의 방어가 필수적인 상황에 적합합니다.

주요 특징

• 다중 버전 접근법: 토큰 예산과 리스크 프로파일에 따라 맞춤화된 버전(v1.0, v1.2, v1.3)을 제공합니다.
• 감사 모드: 운영자가 차단된 공격을 기계가 해석 가능한 태그로 모니터링할 수 있는 옵션 기능. 탐지 로직이 사용자에게 유출되지 않습니다.
• RAG 강화: 외부 데이터 소스에서 오는 간접적 프롬프트 인젝션에 대한 특별한 보호 기능.
• 복합 신호 탐지: 여러 약한 위험 신호가 결합되어 고위험 공격이 되는 경우를 모델이 인식할 수 있도록 안내합니다.