CWE-bench v2 릴리스 노트

CWE-bench v2 개요

CWE-bench v2는 에이전트가 실제 오픈 소스 저장소에서 보안 취약점을 식별하고 수정하도록 요구함으로써 최첨단 AI 사이버 보안 역량의 한계를 테스트하기 위해 설계된 벤치마크입니다. 이 벤치마크는 91개의 서로 다른 CWE를 다루는 100개의 작업으로 구성되어 있으며, 모델이 단순히 익숙한 패턴을 인식하는 것이 아니라 다양한 취약점 표면에 대한 폭넓은 이해를 입증하도록 합니다. 평가 과정은 결정론적이고 프로그래밍 방식으로 진행되며, 에이전트는 기존 소프트웨어 기능을 손상시키지 않으면서 보안 약점을 수정해야 합니다.

방법론 및 품질 보증

벤치마크의 엄격함과 공정성을 유지하기 위해 CWE-bench v2의 모든 작업은 세심한 검토 과정을 거쳤습니다. 각 작업은 다음과 같은 품질 기준에 따라 평가되었습니다:

  • 현실성: 지침은 인위적인 평가 환경이 아닌 실제 개발 시나리오를 반영하도록 설계되었습니다.
  • 추론: 수정에 필요한 모든 정보는 제공된 지침에서 도출할 수 있어야 합니다.
  • 검증: 채점 시스템은 특정 코드 구조를 강제하는 대신 올바른 동작을 확인합니다.
  • 견고성: 시작 코드는 실패해야 하고, 참조 수정안은 통과해야 하며, 원래 기능은 그대로 유지되어야 합니다.
  • 암기 방지: 검증기는 모델이 암기된 솔루션에 의존하는 것을 방지하기 위해 알려진 업스트림 패치에 대해 실패하도록 설계되었습니다.

Collinear AI는 LLM 판정단(judge panels)을 활용하여 이러한 프로그래밍 방식의 검사를 개선하고 작업 난이도와 공정성을 높이는 데 집중했습니다. 또한 이 벤치마크는 지속적인 평가를 위해 별도의 작업 세트를 유지하고 있으며, 연구자들은 팀에 연락하여 이에 접근할 수 있습니다.

성능 및 리더보드

평가된 11개 모델의 결과에 따르면 최첨단 모델들이 발전하고는 있지만 여전히 개선의 여지가 큽니다. Gemini 4 Argon이 현재 67.8%의 pass@1 비율로 리더보드 1위를 차지하고 있으며, Claude Opus 5.5가 67.3%로 그 뒤를 바짝 쫓고 있습니다. 이러한 점수에도 불구하고 최고 성능의 모델조차 모든 시도에서 작업의 19%를 실패하고 있어, 이 세트에 포함된 긴 꼬리(long-tail) 보안 문제의 복잡성을 잘 보여줍니다.

비용 효율성 측면에서 파레토 최적(Pareto frontier)은 다음 세 가지 모델로 정의됩니다:

  • DeepSeek V4.1 Flash: 롤아웃당 $0.04에 57.0% pass@1.
  • Claude Opus 5.5: 롤아웃당 $1.83에 더 높은 성능.
  • Gemini 4 Argon: 롤아웃당 $3.92에 최고의 성능.

벤치마크 실행

CWE-bench v2는 Harbor 프레임워크와 통합되어 있어 사용자가 수동으로 복제할 필요 없이 Hugging Face 저장소에서 직접 전체 벤치마크를 실행할 수 있습니다. 작업은 Docker화된 환경과 결정론적 검증기를 포함하여 독립적으로 구성되어 있습니다. 사용자는 다음 명령 구조를 사용하여 벤치마크를 실행할 수 있습니다:

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

작업이 rl-environment로 태그되어 있기 때문에 평가에 사용된 동일한 인프라를 방어형 AI 에이전트 학습을 위한 보상을 제공하는 데에도 활용할 수 있습니다.

Sources