KeyValueSoftwareSystems/agent-opfor

解決的問題

Opfor 是一款專為紅隊測試 AI 代理、LLM 應用與 MCP 伺服器而設計的對抗性模擬工具。它幫助開發人員與安全團隊在系統部署至生產環境前，識別出提示注入、越獄、工具濫用與敏感資料外洩等漏洞。

工作原理

Opfor 基於業界標準（如 OWASP）生成針對目標代理的客製化對抗性提示，模擬真實世界的攻擊。隨後，將這些攻擊執行至目標代理，捕獲其回應，並使用基於 LLM 的判斷器對每次嘗試進行分類，判斷為「通過」或「失敗」，並附帶詳細推理。該工具亦可與可觀測性堆疊（如 Langfuse 或 Netra）整合，分析內部工具呼叫與推理步驟，而不僅僅是最終輸出。

適用對象

• 工程師與 DevOps：透過 CLI 或 SDK 將紅隊測試整合至 CI/CD 流水線中。
• 產品經理與 QA：透過瀏覽器擴充功能測試已部署的聊天機器人，無需撰寫程式碼。
• 安全分析師：使用預設的 OWASP 套件確保合規性與安全性。
• AI 開發者：使用 MCP 伺服器模式，讓自己的編碼代理測試其他代理。

核心亮點

• 全面覆蓋：包含 OWASP LLM Top 10、Agentic AI Top 10、MCP Top 10、API 安全性以及 EU AI Act 偏見的預設套件。
• 多入口支援：提供 CLI、瀏覽器擴充、MCP 伺服器、IDE 技能與 TypeScript SDK 多種使用方式。
• uma 自主紅隊測試：opfor hunt 命令使用多代理系統（指揮官、操作員、偵察員）實現自主偵察與自適應攻擊活動。
• 追蹤感知測試：可與遙測提供者整合，檢測在內部工具呼叫中發生但未出現在最終回應中的資料外洩。
• 透明化報告：生成包含每次攻擊提示與判斷結果的完整日誌的 HTML 與 JSON 報告，還提供測試成本（Token 使用量）的詳細分解。