sunblaze-ucb/cybergym

解決する課題

CyberGymは、AIエージェントが現実世界のサイバーセキュリティタスク、特に脆弱性分析をどの程度遂行できるかを評価するための、標準化された大規模なフレームワークを提供します。これは、AIエージェントがソフトウェア内の脆弱性を大規模に発見し、エクスプロイトできるかどうかを厳密にテストする必要性に応えるものです。

仕組み

このフレームワークは、提出サーバーおよびタスク生成システムとして機能します。現実世界の脆弱性タスク（バイナリのみの環境およびフルコンパイル環境を含む）の膨大なデータセットを提供します。ユーザーがAIエージェントに対して特定のタスクを生成すると、エージェントはProof-of-Concept (PoC) エクスプロイトの作成を試みます。エージェントはこのPoCをローカルサーバーに送信し、エクスプロイトが脆弱性を正常にトリガーするかどうかを検証します。セキュリティと公平性を確保するため、CyberGymには、エージェントのコンテナによるインターネットアクセスを事前定義されたドメインの許可リストに制限する、組み込みのファイアウォールプロキシが含まれています。

対象者

サイバーセキュリティ向けのAIエージェントを構築している研究者や開発者、特に自動脆弱性調査およびエクスプロイト生成に焦点を当てている方を対象としています。

ハイライト

• 現実世界の規模: 実際の脆弱性に由来する膨大なタスクデータセットが含まれています。
• 安全な実行: エージェントがパブリックインターネットにアクセスするのを防ぐため、専用のファイアウォールと隔離されたDockerネットワークを備えています。
• 柔軟なデプロイ: フルコンパイル環境と、静的解析タスク用のバイナリのみのモードの両方をサポートしています。
• 検証システム: エージェントからのPoC提出を追跡・検証するための専用サーバーが含まれています。