sunblaze-ucb/exploitgym

해결하는 문제

ExploitGym은 AI 에이전트가 실제 보안 취약점으로부터 기능적인 익스플로잇을 얼마나 잘 개발할 수 있는지 평가하기 위한 표준화된 대규모 벤치마크를 제공합니다. 이는 에이전트가 취약점을 성공적인 공격으로 전환하는 능력을 측정하기 위한 현실적인 테스트 환경의 필요성을 해결합니다.

작동 방식

이 시스템은 사용자 공간 프로그램, Linux 커널 및 Google의 V8 엔진에서 발견된 실제 취약점을 기반으로 하는 869개의 인스턴스 컬렉션을 사용합니다. 컨트롤러, 아웃바운드 네트워크 격리를 위한 방화벽 및 LLM 프록시를 사용하여 AI 에이전트의 실행을 관리합니다. 에이전트는 특정 취약성이 포함된 대상 Docker 이미지와 상호 작용하여 예상되는 플래그를 도출하려고 시도합니다.

대상

이 도구는 사이버 보안 및 익스플로잇 개발 맥락에서 AI 에이전트의 역량과 안전성에 대해 연구하는 보안 연구자 및 AI 개발자를 위해 설계되었습니다.

주요 특징

• 실제 데이터: Linux 커널, V8 엔진 및 사용자 공간 프로그램의 실제 취약성을 기반으로 구축되었습니다.
• 대규모: 버전 1.0에는 869개의 고유한 벤치마크 인스턴스가 포함되어 있습니다.
• 격리된 환경: Docker와 전용 방화벽을 사용하여 에이전트 컨테이너가 네트워크로부터 격리되도록 보장합니다.
• 포괄적인 도구 세트: AI 에이전트의 평가를 용이하게 하기 위한 컨트롤러와 LLM 프록시가 포함되어 있습니다.