sunblaze-ucb/exploitgym

解決する課題

ExploitGymは、AIエージェントが実世界のセキュリティ脆弱性から機能的なエクスプロイトをどの程度開発できるかを評価するための、標準化された大規模なベンチマークを提供します。これは、エージェントが脆弱性を攻撃へと転換する能力を測定するための、現実的なテスト環境の必要性に応えるものです。

仕組み

このシステムは、ユーザ空間プログラム、Linuxカーネル、およびGoogleのV8エンジンで見つかった実際の脆弱性に基づく869のインスタンスのコレクションを使用します。コントローラー、アウトバウンドネットワークの隔離のためのファイアウォール、およびLLMプロキシを採用して、AIエージェントの実行を管理します。エージェントは、特定の脆弱性を含むターゲットのDockerイメージと対話し、期待されるフラグの取得を試みます。

対象者

このツールは、サイバーセキュリティおよびエクスプロイト開発の文脈において、AIエージェントの能力と安全性に取り組んでいるセキュリティ研究者およびAI開発者向けに設計されています。

ハイライト

• 実世界のデータ: Linuxカーネル、V8エンジン、およびユーザ空間プログラムの実際の脆弱性から構築されています。
• 大規模: バージョン1.0には869の異なるベンチマークインスタンスが含まれています。
• 隔離された環境: Dockerと専用のファイアウォールを使用して、エージェントコンテナがネットワークから隔離されていることを保証します。
• 包括的なツール群: AIエージェントの評価を容易にするためのコントローラーとLLMプロキシが含まれています。