ethz-spylab/agentdojo

A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.

What it solves

AgentDojo は、LLM エージェントがプロンプトインジェクション攻撃をどのように処理するか、そしてさまざまな防御策の有効性を評価するための動的環境を提供します。

How it works

ベンチマークスイートとして機能し、研究者は異なるスイート（例: workspace スイート）で、さまざまな LLM モデル、攻撃戦略（tool_knowledge など）および防御メカニズム（tool_filter など）を使用して特定のタスクを実行できます。

Who it’s for

プロンプトインジェクションの脆弱性をテストし、緩和策を評価することに焦点を当てた、LLM エージェントのセキュリティに関心のある研究者や開発者向けです。

Highlights

  • プロンプトインジェクション攻撃のための動的評価環境。
  • 複数の LLM モデルとカスタマイズ可能な攻撃/防御構成をサポート。
  • 結果追跡のために Invariant Benchmark Registry と統合。