liu00222/Open-Prompt-Injection

해결하는 문제

이 툴킷은 LLM 통합 애플리케이션과 에이전트의 보안 취약점을 해결하며, 특히 악의적인 입력을 통해 모델이 원래 지시사항을 무시하고 의도하지 않은 작업을 수행하도록 유도하는 프롬프트 인젝션 공격에 초점을 맞춥니다.

작동 방식

Open-Prompt-Injection은 공격 및 방어의 구현, 평가, 확장에 사용할 수 있는 프레임워크를 제공합니다. 팩토리 메서드를 사용한 모듈식 접근 방식으로 모델, 작업, 공격자 생성이 가능합니다. 방어 측면에서는 다음 두 가지 전용 구성 요소로 구성된 파이프라인을 제공합니다:

• DataSentinel: 프롬프트가 인젝션 공격에 의해 오염되었는지 여부를 탐지하는 검출기입니다.
• PromptLocate: 인젝션된 부분을 정확히 식별하고 원래 의도된 데이터를 복구하는 도구입니다.

대상 사용자

보안 연구자, AI 개발자, 평가자에게 적합하며, 적대적 프롬프트에 대한 LLM 애플리케이션의 견고성을 벤치마킹하거나, 검출 및 복구 메커니즘을 구현해야 하는 경우에 유용합니다.

주요 특징

• 엔드투엔드 방어 파이프라인: 검출(DataSentinel)과 국지화(PromptLocate)를 결합하여 공격된 프롬프트에서 깨끗한 데이터를 복구합니다.
• 확장 가능한 프레임워크: PaLM2, Llama, GPT 등 다양한 모델을 지원하며, JSON 파일을 통해 사용자 정의 공격/방어 구성이 가능합니다.
• 평가 메트릭: 인젝션의 효과를 정량화하는 공격 성공률(ASV)을 계산할 수 있는 도구를 포함합니다.
• 실험 관리: 드라이런, 실패한 쿼리에 대한 지수 백오프, 중단된 실행에 대한 체크포인트 기능을 지원하는 강력한 실행 스크립트를 제공합니다.