ethz-spylab/agentdojo

A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.

What it solves

AgentDojo 提供一個動態環境，用於評估 LLM 代理在面對提示注入攻擊時的處理方式，以及各種防禦措施的有效性。

How it works

它作為基準套件運作，允許研究人員在不同套件（例如 workspace 套件）中使用各種 LLM 模型、攻擊策略（如 tool_knowledge）和防禦機制（如 tool_filter）執行特定任務。

Who it’s for

針對關注 LLM 代理安全性的研究人員與開發者，特別是測試提示注入漏洞與評估緩解策略的人士。

Highlights

動態評估環境，用於提示注入攻擊。
支援多種 LLM 模型與可自訂的攻擊/防禦配置。
與 Invariant Benchmark Registry 整合，以追蹤結果。