Tencent/AI-Infra-Guard

解決的問題

AI-Infra-Guard (A.I.G) 是一個全面的AI紅隊平台，旨在幫助企業和個人識別整個AI堆疊中的安全風險。它滿足了自動化安全稽核AI基礎設施、代理工作流程和模型穩健性的需求，以防止遠端程式碼執行、提示注入和API毒化等漏洞。

運作方式

該平台將多個專業掃描和評估工具整合到一個介面中：

• AI基礎設施掃描器：對即時AI服務（例如vLLM、Ollama、ComfyUI）進行指紋辨識，並與超過2,000個已知CVE漏洞庫進行比對。
• 代理與技能掃描器：分析MCP伺服器或代理技能的原始碼或遠端URL，以偵測指令劫持、記憶體毒化和不安全的編碼實務等風險。
• 越獄評估：應用精選的攻擊資料集和多輪越獄方法（例如Many-Shot、PAIR）來測試LLM的穩健性，檢查提示安全風險。
• API中繼檢查器：對模型中繼執行黑箱稽核，透過LLM API毒化偵測來偵測模型替換或後門風險。

目標使用者

主要面向部署AI代理和基礎設施的安全研究人員、AI開發人員和企業，他們需要對其AI安全態勢進行自我檢查。

主要特點

• 廣泛覆蓋：掃描超過100個AI框架元件和2,000多個CVE規則。
• 自動化代理稽核：用於評估Dify和Coze等平台上AI代理工作流程的專用工具。
• 可擴充架構：透過外掛程式框架支援社群貢獻新的指紋規則、漏洞規則和越獄資料集。
• 開發者友善：提供現代化Web UI、用於整合的完整API以及用於CI/CD管線的獨立CLI工具。