Tencent/AI-Infra-Guard

解决的问题

AI-Infra-Guard (A.I.G) 是一个全面的AI红队平台，旨在帮助企业和个人识别整个AI堆栈中的安全风险。它满足了自动化安全审计AI基础设施、代理工作流和模型健壮性的需求，以防止远程代码执行、提示注入和API投毒等漏洞。

工作原理

该平台将多个专业扫描和评估工具集成到一个界面中：

• AI基础设施扫描器：对实时AI服务（例如vLLM、Ollama、ComfyUI）进行指纹识别，并与超过2,000个已知CVE漏洞库进行匹配。
• 代理与技能扫描器：分析MCP服务器或代理技能的源代码或远程URL，以检测指令劫持、内存投毒和不安全的编码实践等风险。
• 越狱评估：应用精选的攻击数据集和多轮越狱方法（例如Many-Shot、PAIR）来测试LLM的健壮性，检查提示安全风险。
• API中继检查器：对模型中继执行黑盒审计，通过LLM API投毒检测来检测模型替换或后门风险。

目标用户

主要面向部署AI代理和基础设施的安全研究人员、AI开发人员和企业，他们需要对其AI安全态势进行自我检查。

主要特点

• 广泛覆盖：扫描超过100个AI框架组件和2,000多个CVE规则。
• 自动化代理审计：用于评估Dify和Coze等平台上AI代理工作流的专用工具。
• 可扩展架构：通过插件框架支持社区贡献新的指纹规则、漏洞规则和越狱数据集。
• 开发者友好：提供现代Web UI、用于集成的完整API以及用于CI/CD管道的独立CLI工具。