Tencent/VulnGym

해결하는 문제

VulnGym은 격리된 코드 조각이나 단순한 이진 레이블에 의존하는 기존 보안 벤치마크의 한계를 해결합니다. 이 벤치마크는 AI 에이전트가 복잡한 다중 파일 소프트웨어 프로젝트 내에서 취약점을 얼마나 잘 식별하고 추적할 수 있는지 평가할 수 있는 현실적인 프로젝트 수준의 환경을 제공합니다.

작동 방식

이 벤치마크는 오픈 소스 프로젝트의 특정 커밋에 매핑된 실제 취약점 데이터셋으로 구성됩니다. 각 항목에는 검증 가능한 증거 '체인'이 포함되어 있습니다. 여기에는 도달 가능한 진입점, 결함이 발생하는 중요한 작업, 그리고 모듈 간 추론 추적이 포함됩니다. 이를 통해 사용자는 취약점 탐색 에이전트가 코드 내의 이러한 특정 지점을 올바르게 찾을 수 있는지 테스트할 수 있습니다.

대상 사용자

이 도구는 자동화된 취약점 탐지를 위한 AI 에이전트를 구축하는 보안 연구원 및 개발자를 위해 설계되었습니다. 특히 대규모 애플리케이션의 서로 다른 부분이 어떻게 상호 작용하는지 이해해야 하는 권한 우회와 같은 비즈니스 로직 결함에 대해 에이전트의 추론 능력을 평가해야 하는 사용자에게 매우 유용합니다.

주요 특징

• 실제 환경 범위: 격리된 함수가 아닌 완전한 다중 모듈 엔지니어링 프로젝트에서 에이전트를 평가합니다.
• 포괄적인 커버리지: 전통적인 보안 결함(예: 인젝션)과 복잡한 비즈니스 로직 취약점을 모두 포함합니다.
• 완벽한 검증: 현재 데이터셋의 모든 항목은 정확성과 재현성을 보장하기 위해 사람이 직접 검토했습니다.
• 설명 가능한 결과: 각 취약점에 대한 명확한 증거 경로를 제공하여 에이전트가 왜 성공했는지 또는 실패했는지 쉽게 이해할 수 있습니다.