sunblaze-ucb/cybergym

해결하는 문제

CyberGym은 AI 에이전트가 실제 사이버 보안 작업, 특히 취약점 분석을 얼마나 잘 수행할 수 있는지 평가하기 위한 표준화된 대규모 프레임워크를 제공합니다. 이는 AI 에이전트가 소프트웨어의 취약점을 대규모로 실제로 찾아내고 익스플로잇할 수 있는지 테스트할 수 있는 엄격한 방법의 필요성을 해결합니다.

작동 방식

이 프레임워크는 제출 서버 및 작업 생성 시스템으로 작동합니다. 실제 취약점 작업에 대한 대규모 데이터셋(바이너리 전용 및 전체 컴파일 환경 포함)을 제공합니다. 사용자가 AI 에이전트를 위한 특정 작업을 생성하면, 에이전트는 Proof-of-Concept (PoC) 익스플로잇을 생성하려고 시도합니다. 에이전트는 이 PoC를 로컬 서버에 제출하여 익스플로잇이 취약점을 성공적으로 트리거하는지 확인합니다. 보안과 공정성을 보장하기 위해 CyberGym에는 에이전트 컨테이너의 인터넷 접속을 사전 정의된 허용 목록 도메인으로 제한하는 내장 방화벽 프록시가 포함되어 있습니다.

대상

사이버 보안을 위한 AI 에이전트를 구축하는 연구자 및 개발자, 특히 자동 취약점 연구 및 익스플로잇 생성에 집중하는 분들을 위한 도구입니다.

주요 특징

• 실제 규모: 실제 취약점에서 가져온 방대한 작업 데이터셋을 포함합니다.
• 안전한 실행: 에이전트가 공용 인터넷에 접속하는 것을 방지하기 위해 전용 방화벽과 격리된 Docker 네트워크를 특징으로 합니다.
• 유연한 배포: 전체 컴파일 환경과 정적 분석 작업을 위한 바이너리 전용 모드를 모두 지원합니다.
• 검증 시스템: 에이전트의 PoC 제출을 추적하고 검증하기 위한 전용 서버를 포함합니다.