ethz-spylab/agentdojo
A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.
What it solves
AgentDojo는 LLM 에이전트가 프롬프트 인젝션 공격을 어떻게 처리하는지와 다양한 방어 수단의 효과를 평가할 수 있는 동적 환경을 제공합니다.
How it works
벤치마크 스위트로 작동하며, 연구자는 다양한 스위트(예: workspace 스위트)에서 여러 LLM 모델, 공격 전략(tool_knowledge 등) 및 방어 메커니즘(tool_filter 등)을 사용해 특정 작업을 실행할 수 있습니다.
Who it’s for
프롬프트 인젝션 취약성을 테스트하고 완화 전략을 평가하는 데 중점을 둔 LLM 에이전트 보안 연구자 및 개발자를 위한 도구입니다.
Highlights
- 프롬프트 인젝션 공격을 위한 동적 평가 환경.
- 다수의 LLM 모델 및 맞춤형 공격/방어 구성 지원.
- 결과 추적을 위해 Invariant Benchmark Registry와 통합.
관련
- 프로젝트
AgentR1/Agent-R1각 상호작용 턴을 단계 수준의 MDP 전이로 취급하여 멀티스텝 LLM 에이전트를 훈련하는 Agentic Reinforcement Learning을 위한 모듈형 프레임워크.
- 프로젝트
NVIDIA-NeMo/Evaluator벤치모크 환경, 트래픽 관리를 위한 플러그형 인터셉터 프록시, 그리고 모델 성능 분석을 위한 멀티 포맷 보고서 기능을 갖춘 LLM 평가 프레임워크입니다.
- 프로젝트
AgentDock/AgentDock구성 가능한 결정성을 갖춘 AI 에이전트를 구축하기 위한 TypeScript 프레임워크로, 개발자가 LLM의 창의성과 예측 가능하고 구조화된 워크플로우 사이의 균형을 맞출 수 있습니다.
- 프로젝트
deer-flow/llm-space에이전트 빌더가 로컬 우선 데이터 관리를 통해 AI 에이전트를 프로토타이핑, 추적, 디버깅 및 평가할 수 있는 데스크톱 애플리케이션입니다.
- 프로젝트
NVIDIA-NeMo/GymNeMo Gym은 상태 저장 환경(코드 실행, 도구 호출, 안전성 등)에서 AI 에이전트를 확장 가능하게 평가하고 훈련하기 위한 NVIDIA의 오픈 소스 라이브러리입니다. 모듈식 인터페이스, 기성 벤치마크 허브, 수천 개의 동시 실행 지원, 모든 RL 프레임워크와의 통합을 제공합니다. `uv`로 설치하고, 모델(예: OpenAI)을 구성하고, 환경 서버를 시작한 다음 `gym eval` CLI를 실행하여 롤아웃과 메트릭을 수집합니다.