praetorian-inc/augustus

해결하는 문제

Augustus는 대규모 언어 모델(LLM)의 보안과 견고성을 테스트하도록 설계된 취약점 스캐너입니다. 보안 전문가가 적대적 행위자가 악용할 수 있는 프롬프트 인젝션, 탈옥, 데이터 추출 취약점과 같은 약점을 식별하는 데 도움을 줍니다.

작동 방식

Augustus는 파이프라인 아키텍처를 사용하여 적대적 공격을 실행합니다. 프로브(공격 패턴)를 선택하고, 선택적으로 버프 변환(Base64 인코딩 또는 번역 등)을 적용하여 탐지를 회피한 다음, 생성기(공급자 통합)를 통해 대상 LLM에 프롬프트를 전송합니다. 그런 다음 응답은 탐지기(패턴 매칭 또는 LLM-as-a-judge 사용)에 의해 분석되어 공격이 성공했는지 확인합니다.

복잡한 공격의 경우 특수 엔진을 사용합니다:

• 단일 턴 엔진: PAIR 또는 TAP과 같은 프로브에 대해 프롬프트를 반복적으로 개선합니다.
• 다중 턴 엔진: Crescendo(점진적 확대), GOAT(적응형 기술 전환), Hydra(거부 시 백트래킹), Mischievous User(캐주얼 페르소나 프로빙)와 같은 전략을 사용하여 대화 기록을 유지하고 안전 필터를 우회합니다.

대상 사용자

연구 중심 프레임워크가 아닌, LLM 레드팀 및 취약점 평가를 위한 프로덕션 준비 도구가 필요한 보안 전문가와 엔터프라이즈 팀을 위해 구축되었습니다.

주요 기능

• 광범위한 공격 라이브러리: 탈옥, RAG 중독, 에이전트 공격을 포함한 47개 범주에 걸친 210개 이상의 취약점 프로브.
• 광범위한 공급자 지원: OpenAI, Anthropic, Azure, Bedrock, Vertex AI 및 Ollama와 같은 로컬 옵션을 포함한 28개 LLM 공급자와 통합.
• 포괄적인 탐지: LLM-as-a-judge 및 Perspective API를 포함한 90개 이상의 탐지기.
• 프로덕션 준비 기능: 고성능을 위해 Go로 작성되었으며, 동시 스캔, 속도 제한, 단일 바이너리 배포를 제공합니다.
• 유연한 출력: Table, JSON, JSONL 및 HTML 형식으로 보고서를 생성합니다.