Tencent/VulnGym

解決する課題

VulnGymは、孤立したコードスニペットや単純なバイナリラベルに依存する既存のセキュリティベンチマークの限界に対処します。AIエージェントが複雑なマルチファイル・ソフトウェア・プロジェクト内の脆弱性をどれだけ正確に特定し、追跡できるかを評価するための現実的なプロジェクトレベルの環境を提供します。

仕組み

このベンチマークは、オープンソースプロジェクトの特定のコミットにマッピングされた現実世界の脆弱性データセットで構成されています。各エントリには、検証可能な証拠の「チェーン」が含まれています。これには、到達可能なエントリポイント、欠陥が発生する重要な操作、およびモジュール間をまたぐ推論トレースが含まれます。これにより、ユーザーは脆弱性探索エージェントがコード内のこれらの特定のポイントを正しく特定できるかどうかをテストできます。

対象ユーザー

このツールは、自動脆弱性検出のためのAIエージェントを構築するセキュリティ研究者や開発者向けに設計されています。特に、大規模なアプリケーションの異なる部分がどのように相互作用するかを理解する必要がある、認可バイパスのようなビジネスロジックの欠陥についてエージェントの推論能力を評価する必要がある場合に非常に有用です。

ハイライト

• 現実世界のスコープ: 孤立した関数ではなく、完全なマルチモジュール・エンジニアリング・プロジェクトでエージェントを評価します。
• 包括的なカバレッジ: 従来のセキュリティ欠陥（インジェクションなど）と複雑なビジネスロジックの脆弱性の両方が含まれています。
• 完全な検証: 現在のデータセットのすべてのエントリは、正確性と再現性を確保するために人間によって監査されています。
• 説明可能な結果: 各脆弱性に対して明確な証拠パスを提供するため、エージェントがなぜ成功したか、あるいは失敗したかを理解しやすくなります。