KeyValueSoftwareSystems/agent-opfor

解决的问题

Opfor 是一款专为红队测试 AI 代理、LLM 应用和 MCP 服务器而设计的对抗性模拟工具。它帮助开发人员和安全团队在将系统部署到生产环境之前，识别出提示注入、越狱、工具滥用和敏感数据泄露等漏洞。

工作原理

Opfor 基于行业标准（如 OWASP）生成针对目标代理的定制化对抗性提示，模拟真实世界的攻击。随后，将这些攻击执行到目标代理上，捕获其响应，并使用基于 LLM 的评判器对每次尝试进行分类，判断为“通过”或“失败”，并附带详细推理。该工具还可与可观测性堆栈（如 Langfuse 或 Netra）集成，分析内部工具调用和推理步骤，而不仅仅是最终输出。

适用人群

• 工程师和 DevOps：通过 CLI 或 SDK 将红队测试集成到 CI/CD 流水线中。
• 产品经理和 QA：通过浏览器扩展测试已部署的聊天机器人，无需编写代码。
• 安全分析师：使用预设的 OWASP 套件确保合规性和安全性。
• AI 开发者：使用 MCP 服务器模式，让自己的编码代理测试其他代理。

核心亮点

• 全面覆盖：包含 OWASP LLM Top 10、Agentic AI Top 10、MCP Top 10、API 安全性以及 EU AI Act 偏见的预设套件。
• 多入口支持：提供 CLI、浏览器扩展、MCP 服务器、IDE 技能和 TypeScript SDK 多种使用方式。
• uma 自主红队测试：opfor hunt 命令使用多代理系统（指挥官、操作员、侦察员）实现自主侦察与自适应攻击活动。
• 追踪感知测试：可与遥测提供者集成，检测在内部工具调用中发生但未出现在最终响应中的数据泄露。
• 透明化报告：生成包含每次攻击提示和评判结果的完整日志的 HTML 和 JSON 报告，还提供测试成本（Token 使用量）的详细分解。