prompt-security/ps-fuzz

해결하는 문제

개발자가 동적인 LLM 기반 공격에 대해 시스템 프롬프트의 보안을 평가함으로써 GenAI 애플리케이션을 강화하도록 돕습니다. 탈옥(jailbreak), 프롬프트 인젝션, 시스템 프롬프트 유출과 같은 취약점을 식별하여 개발자가 프롬프트의 회복력을 반복적으로 개선할 수 있도록 합니다.

작동 방식

이 도구는 사용자의 시스템 프롬프트 컨텍스트에 따라 공격 시뮬레이션을 조정하는 동적 테스트 방식을 사용합니다. 탈옥, 프롬프트 인젝션, RAG 포이즈닝, 시스템 프롬프트 추출과 같은 카테고리에 걸쳐 16가지의 서로 다른 공격 유형을 지원합니다. 사용자는 대화형 모드 또는 일괄 처리를 위한 CLI를 통해 이러한 테스트를 실행할 수 있으며, 광범위한 LLM 제공업체 및 사용자 지정 API 엔드포인트를 지원합니다.

대상

LLM 기반 시스템의 보안을 평가하고 강화해야 하는 GenAI 애플리케이션 구축 개발자 및 보안 연구자.

주요 특징

• 폭넓은 제공업체 지원: OpenAI, Anthropic, Google PaLM 및 Ollama를 통한 셀프 호스팅 옵션을 포함하여 16개의 LLM 제공업체를 지원합니다.
• 다양한 공격 라이브러리: DAN, Base64 회피, RAG 포이즈닝을 위한 Hidden Parrot 공격 등 16가지의 독특한 공격 유형이 포함되어 있습니다.
• 유연한 실행: 대화형 Playground 채팅 인터페이스와 자동 일괄 테스트를 위한 CLI를 모두 제공합니다.
• RAG 테스트: 벡터 데이터베이스 문서에 포함된 악의적인 지침이 시스템 프롬프트를 무시할 수 있는지 여부를 특별히 테스트합니다.
• 멀티스레드 테스트: 보안 평가 프로세스를 가속화하기 위해 멀티스레드 실행을 지원합니다.