CWE-bench v2 リリースノート

CWE-bench v2 の概要

CWE-bench v2 は、実際のオープンソースリポジトリにおけるセキュリティ脆弱性の特定と修正をエージェントに求めることで、最先端AIのサイバーセキュリティ能力の限界をテストするために設計されたベンチマークです。このベンチマークは91種類の異なるCWEを網羅する100のタスクで構成されており、モデルが単に馴染みのあるパターンを認識するだけでなく、多様な脆弱性領域に対する幅広い理解を示すことを要求します。評価プロセスは決定論的かつプログラム的であり、エージェントは既存のソフトウェア機能を損なうことなくセキュリティ上の弱点を修正する必要があります。

メソドロジーと品質保証

ベンチマークの厳密さと公平性を維持するため、CWE-bench v2 のすべてのタスクは綿密なレビュープロセスを経て作成されました。各タスクは以下の品質基準に基づいて評価されています。

• リアリズム: 指示は人工的な評価設定ではなく、実践的な開発シナリオを反映するように設計されています。
• 推論: 修正に必要なすべての情報は、提供された指示から導き出せる必要があります。
• 検証: 採点システムは特定のコード構造を強制するのではなく、正しい動作を確認します。
• 堅牢性: スターターコードは失敗し、参照修正は成功し、元の機能は損なわれない必要があります。
• アンチ記憶: 検証ツールは、モデルが記憶した解決策に依存することを防ぐため、既知のアップストリームパッチでは失敗するように設計されています。

Collinear AI は、LLMジャッジパネルを活用してこれらのプログラム的チェックを洗練させ、タスクの難易度と公平性の向上に注力しました。また、このベンチマークには継続的な評価のために非公開のタスクセットが保持されており、研究者はチームに連絡することでアクセス可能です。

パフォーマンスとリーダーボード

評価された11モデルの結果は、最先端モデルが進歩している一方で、改善の余地が依然として大きいことを示しています。Gemini 4 Argon が現在 pass@1 率 67.8% でリーダーボードをリードしており、Claude Opus 5.5 が 67.3% で僅差で続いています。これらのスコアにもかかわらず、最高性能のモデルであってもすべての試行でタスクの19%に失敗しており、セットに含まれるロングテールのセキュリティ課題の複雑さが浮き彫りになっています。

コスト効率に関しては、パレートフロンティアは以下の3つのモデルによって定義されます。

• DeepSeek V4.1 Flash: 1ロールアウトあたり $0.04 で pass@1 57.0%。
• Claude Opus 5.5: 1ロールアウトあたり $1.83 でより高いパフォーマンス。
• Gemini 4 Argon: 1ロールアウトあたり $3.92 で最高パフォーマンス。

ベンチマークの実行

CWE-bench v2 は Harbor フレームワークと統合されており、ユーザーは手動でクローンを作成することなく、Hugging Face リポジトリから直接ベンチマーク全体を実行できます。タスクは自己完結型であり、Docker化された環境と決定論的な検証ツールが含まれています。ユーザーは以下のコマンド構造を使用してベンチマークを実行できます。

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

タスクには rl-environment というタグが付けられているため、評価に使用されるのと同じインフラストラクチャを、防御AIエージェントのトレーニングのための報酬提供にも利用できます。