ethz-spylab/agentdojo
A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.
What it solves
AgentDojo는 LLM 에이전트가 프롬프트 인젝션 공격을 어떻게 처리하는지와 다양한 방어 수단의 효과를 평가할 수 있는 동적 환경을 제공합니다.
How it works
벤치마크 스위트로 작동하며, 연구자는 다양한 스위트(예: workspace 스위트)에서 여러 LLM 모델, 공격 전략(tool_knowledge 등) 및 방어 메커니즘(tool_filter 등)을 사용해 특정 작업을 실행할 수 있습니다.
Who it’s for
프롬프트 인젝션 취약성을 테스트하고 완화 전략을 평가하는 데 중점을 둔 LLM 에이전트 보안 연구자 및 개발자를 위한 도구입니다.
Highlights
- 프롬프트 인젝션 공격을 위한 동적 평가 환경.
- 다수의 LLM 모델 및 맞춤형 공격/방어 구성 지원.
- 결과 추적을 위해 Invariant Benchmark Registry와 통합.