Tencent/VulnGym

解决的问题

VulnGym 解决了现有安全基准测试依赖孤立代码片段或简单二进制标签的局限性。它提供了一个真实的、项目级的环境，用于评估 AI 代理在复杂的多文件软件项目中识别和追踪漏洞的能力。

工作原理

该基准测试包含一个数据集，其中映射了开源项目中特定提交的真实漏洞。每个条目都包含一个可验证的证据“链”：一个可达的入口点、发生缺陷的关键操作以及跨模块的推理轨迹。这允许用户通过检查其漏洞挖掘代理是否能正确定位代码中的这些特定点来对其进行测试。

适用对象

该工具专为构建自动化漏洞检测 AI 代理的安全研究人员和开发人员设计。对于那些需要评估代理推理业务逻辑缺陷（如授权绕过）能力的人员特别有用，因为这需要理解大型应用程序的不同部分是如何交互的。

亮点

• 真实世界范围： 在完整的、多模块工程项目而非孤立函数上评估代理。
• 全面覆盖： 既包含传统的安全缺陷（如注入），也包含复杂的业务逻辑漏洞。
• 完全验证： 当前数据集中的每个条目都经过人工审核，以确保准确性和可重复性。
• 可解释的结果： 为每个漏洞提供清晰的证据路径，使理解代理成功或失败的原因变得更容易。