Joe-B-Security/awesome-prompt-injection

개요

awesome-prompt-injection은 프롬프트 인젝션(대규모 언어 모델(LLM) 기반 AI 시스템의 보안 취약점)에 관한 리소스를 선별한 커뮤니티 유지 목록입니다. README는 공격자가 모델이 읽는 텍스트에 숨겨진 지시를 삽입하여 의도하지 않은 일을 하도록 속일 수 있다고 설명합니다. 이 프로젝트는 기사, 튜토리얼, 연구 논문, 도구, 훈련 챌린지에 대한 링크를 수집하여 이 위험을 이해, 테스트, 완화하는 데 도움을 줍니다.

포함 내용

저장소는 명확한 섹션으로 구성되어 있습니다:

• 소개 – 프롬프트 인젝션에 대한 쉬운 설명. 직접 및 간접 형태, 왜 위험한지, 완벽한 방어가 없는 이유를 포함합니다.
• 입문 리소스 – OWASP의 LLM Top 10 및 Meta의 "Rule of Two" 프레임워크와 같은 주요 참고 자료.
• 기사 및 블로그 – 업계 전문가(예: Simon Willison, Microsoft, OpenAI, Snyk)의 심층 분석 및 실제 사례.
• 튜토리얼 – 실습 가이드 및 비디오.
• 연구 논문 – 공격 기술, 방어 전략, 벤치마크(예: 적응형 공격, 도구 하이재킹)를 다루는 학술 논문.
• 도구 – 프롬프트 인젝션을 스캔, 탐지, 차단하기 위한 오픈소스 소프트웨어(예: Garak, OWASP Agent Memory Guard, Augustus).
• CTF – Gandalf 및 PromptTrace와 같은 무료 훈련 플랫폼 및 캡처 더 플래그 챌린지.
• 커뮤니티 및 기여 – 참여 방법 안내.

목적

프롬프트 인젝션을 이해, 테스트, 방어해야 하는 모든 사람을 위한 단일 진입점 역할을 합니다. README 자체가 이 분야가 진화 중이며 알려진 보편적 해결책이 없다고 설명하므로, 선별된 리소스는 완벽한 탐지보다는 실용적인 접근 방식(손상된 모델이 할 수 있는 일을 제한하는 등)에 초점을 맞춥니다.

대상 독자

이 목록은 LLM 기반 애플리케이션을 구축하거나 감사하는 개발자, 보안 전문가, 연구자, AI 애호가를 대상으로 합니다. 기본을 배우는 데도, 고급 기술을 따라가는 데도 유용합니다.

주요 하이라이트

• README 자체의 소개는 프롬프트 인젝션이 심각한 보안 문제인 이유에 대한 명확하고 비기술적인 설명입니다.
• 공개된 방어책조차 적응형 공격으로 우회될 수 있음을 보여주는 최근 연구를 링크하여 강력한 아키텍처 보호의 필요성을 강조합니다.
• 리소스는 공격 및 방어 관점 모두를 다루며, 침투 테스트 및 차단 도구를 포함합니다.

요컨대, 이 프로젝트는 AI 기반 소프트웨어의 가장 시급한 보안 과제 중 하나의 최신 기술을 추적하는 살아있는 참고 문헌입니다.