sunblaze-ucb/cybergym

解决的问题

CyberGym 提供了一个标准化的规模化框架，用于评估 AI Agent 处理现实世界网络安全任务（特别是漏洞分析）的能力。它解决了大规模测试 AI Agent 是否能够实际发现并利用软件漏洞的严谨需求。

工作原理

该框架作为一个提交服务器和任务生成系统运行。它提供了一个庞大的现实世界漏洞任务数据集（包括仅二进制环境和全编译环境）。用户为 AI Agent 生成特定任务，随后 Agent 尝试创建概念验证（PoC）漏洞利用程序。Agent 将此 PoC 提交给本地服务器，由服务器验证该漏洞利用是否成功触发漏洞。为了确保安全性和公平性，CyberGym 内置了防火墙代理，将 Agent 容器的互联网访问限制在预定义的允许域名列表中。

适用对象

构建网络安全 AI Agent 的研究人员和开发人员，特别是那些专注于自动化漏洞研究和漏洞利用生成的开发者。

亮点

• 现实世界规模：包含源自真实漏洞的海量任务数据集。
• 安全执行：具备专用防火墙和隔离的 Docker 网络，防止 Agent 访问公共互联网。
• 灵活部署：支持全编译环境以及用于静态分析任务的仅二进制模式。
• 验证系统：包含用于跟踪和验证 Agent 提交的 PoC 的专用服务器。