msoedov/agentic_security

해결하는 문제

Agentic Security는 대규모 언어 모델(LLM)과 에이전트 워크플로우를 보안 위협으로부터 보호하기 위해 설계된 오픈 소스 취약점 스캐너입니다. 개발자와 보안 팀이 탈옥, 퍼징 취약성 및 멀티모달 공격과 같은 약점을 프로덕션에 배포하기 전에 사전에 식별할 수 있도록 돕습니다.

작동 방식

이 도구는 다양한 공격 벡터를 사용하여 LLM API를 조사함으로써 작동합니다. 평문 HTTP 사양을 사용하여 대상 모델에 연결하고 플레이스홀더를 특정 공격 프롬프트로 교체합니다. Hugging Face 또는 로컬 CSV 파일에서 데이터 세트를 로드하거나, 안전 필터를 우회하기 위해 변이(Base64 인코딩 또는 ROT13 등)를 사용하여 동적 데이터 세트를 생성할 수 있습니다. 시스템은 텍스트, 이미지 및 오디오 모달리티를 지원하며 자동 보안 검사로서 CI/CD 파이프라인에 통합될 수 있습니다.

대상 사용자

이 프로젝트는 AI 시스템을 스트레스 테스트하고 적대적 공격에 대해 견고함을 보장해야 하는 AI 개발자, 보안 연구자 및 보안 팀을 대상으로 합니다.

주요 특징

• 멀티모달 프로빙: 텍스트, 이미지 및 오디오 입력에 대한 취약점 스캔을 지원합니다.
• 다단계 탈옥: 반복적인 공격 시퀀스를 시뮬레이션하여 심층적인 안전 약점을 찾아냅니다.
• RL 기반 공격: 강화 학습을 사용하여 모델 방어에 대응하여 진화하는 적응형 프로브를 생성합니다.
• CI/CD 통합: 개발 중 자동 보안 스캐닝을 위한 샘플 GitHub Action이 포함되어 있습니다.
• 확장 가능한 데이터 세트: 사용자가 사용자 지정 CSV 데이터 세트를 추가하거나 Hugging Face의 기존 데이터 세트를 통합할 수 있습니다.