CWE-bench v2 发行说明

CWE-bench v2 概览

CWE-bench v2 是一个旨在测试前沿 AI 网络安全能力极限的基准测试，它要求智能体识别并修复真实开源代码库中的安全漏洞。该基准测试包含 100 个任务，涵盖 91 种不同的 CWE，确保模型必须展示出对各种漏洞面的广泛理解，而不仅仅是识别熟悉的模式。评估过程是确定性且程序化的，要求智能体在不损害现有软件功能的前提下修复安全缺陷。

方法论与质量保证

为了确保基准测试的严谨性和公平性，CWE-bench v2 中的每一项任务都经过了细致的审查过程。每项任务都根据一套质量标准进行了评估，包括：

  • 真实性： 指令旨在反映实际的开发场景，而非人为的评估设置。
  • 推理： 修复所需的所有必要信息必须能够从提供的指令中推导出来。
  • 验证： 评分系统检查的是正确行为，而不是强制要求特定的代码结构。
  • 稳健性： 初始代码必须失败，参考修复方案必须通过，且原始功能必须保持完整。
  • 防记忆： 验证器旨在使已知的上游补丁失效，以防止模型依赖记忆的解决方案。

Collinear AI 利用 LLM 评判小组来完善这些程序化检查，重点在于提高任务难度和公平性。该基准测试还保留了一组用于持续评估的留存任务，研究人员可以通过联系团队获取。

性能与排行榜

对 11 个评估模型的测试结果表明，尽管前沿模型正在取得进展，但仍有很大的改进空间。Gemini 4 Argon 目前以 67.8% 的 pass@1 率领跑排行榜，Claude Opus 5.5 以 67.3% 紧随其后。尽管有这些分数，即使是表现最好的模型在每次尝试中仍有 19% 的任务失败，这凸显了该集合中包含的长尾安全挑战的复杂性。

在成本效益方面，帕累托前沿由三个模型定义：

  • DeepSeek V4.1 Flash： 57.0% pass@1，每次 rollout 成本为 $0.04。
  • Claude Opus 5.5： 更高的性能，每次 rollout 成本为 $1.83。
  • Gemini 4 Argon： 领先的性能，每次 rollout 成本为 $3.92。

运行基准测试

CWE-bench v2 与 Harbor 框架集成，允许用户直接从 Hugging Face 存储库执行整个基准测试，无需手动克隆。这些任务是自包含的，包括 Docker 化环境和确定性验证器。用户可以使用以下命令结构运行基准测试：

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

由于这些任务被标记为 rl-environment，用于评估的相同基础设施也可以用于为训练防御性 AI 智能体提供奖励。

Sources