confident-ai/deepteam
DeepTeam is a framework to red team LLMs and AI agents.
解决的问题
DeepTeam 为 LLM 系统（包括 AI 代理、RAG 流水线和聊天机器人）提供了一种结构化的方式来进行红队测试（对抗性渗透测试）。它帮助开发者在系统进入生产环境前识别安全漏洞、安全风险和伦理偏见，并提供实时阻止这些威胁的工具。
工作原理
DeepTeam 使用 model_callback 包装 LLM 应用程序，然后对其施加动态生成的对抗性攻击。它利用 LLM-as-a-Judge 指标评估响应并生成二元通过/失败评分。该框架支持：
- 漏洞探测：涵盖数据隐私、负责任的 AI、安全（如 SQL 注入）、安全性和代理风险等类别的 50 多个预定义漏洞。
- 对抗性攻击：包含 20 多种基于研究的方法，包括单轮攻击（提示注入、Base64 编码、角色扮演）和多轮对话攻击（Crescendo 和 Tree Jailbreaking）。
- 安全框架：开箱即用地映射到行业标准，如 OWASP LLM/Agent 榜单、NIST AI RMF 和 MITRE ATLAS。
- 防护机制：实时二元分类器，监控输入和输出，以在生产环境中阻止违规内容。
适用人群
专为需要对 LLM 应用进行安全与合规性压力测试的 AI 开发者和安全工程师设计，尤其适用于构建复杂代理系统或 RAG 流水线的用户。
主要亮点
- 全面的攻击库：包含大量前沿的越狱和混淆技术。
- 代理专用测试：针对代理风险（如目标窃取、递归劫持、工具编排滥用）的专用漏洞。
- 框架集成：自动与全球 AI 安全标准（OWASP、NIST、MITRE）对齐。
- 本地执行：可在用户本地机器上运行，基于 DeepEval 框架构建。
相关
- 项目
AISecurityLab/hackagentHackAgent 是一个开源 Python SDK/CLI，用于自动化 AI 代理的红队安全测试。它针对使用 OpenAI、LangChain、LiteLLM 或 Google ADK 构建的代理运行一系列已知攻击（提示注入、越狱、目标劫持、工具滥用），利用 LLM 生成对抗性提示并使用判断 LLM 来检测故障。结果存储在本地 (SQLite) 或同步到云端仪表板，该工具可通过 pip 安装或作为独立二进制文件运行。
- 项目
Tencent/AI-Infra-GuardAI‑Infra‑Guard (A.I.G) 是一个开源、可透过 Docker 部署的平台，专门用于 AI 服务的红队安全测试。它能扫描即时 LLM 端点、AI 代理工作流以及模型控制平面代码，检测 CVE、越狱漏洞及代理失控风险，并透过网页 UI 和 REST API 呈现结果。
- 项目
NVIDIA/garakgarak 是一个开源 CLI 框架，可自动探测大型语言模型在幻觉、提示注入、数据泄露、毒性、越狱等方面的安全相关失败。支持 Hugging Face、OpenAI、Bedrock、NIM、Replicate、本地 GGUF 和通用 REST 模型，并提供大量现成的探测器和检测器。结果以 PASS/FAIL 表格形式展示，并以 JSONL 日志格式保存，便于深入分析。
- 项目
confident-ai/deepevalDeepEval 是一个开源 Python 框架，让您可以为 LLM 驱动的应用程序（代理、聊天机器人、RAG 管线）编写 pytest 风格的测试。它内置超过 30 种指标，包括像 G-Eval 和 JevEval 这样的 LLM-as-a-judge 分数，以及针对代理、RAG、多模态和偏见相关的检查。指标可以在本地运行，也可以使用您选择的任何 LLM 运行。该库与 LangChain、CrewAI、OpenAI、Anthropic、AWS AgentCore、Google ADK、LlamaIndex 甚至 TypeScript AI SDK 集成，提供装饰器和回调来捕捉完整的执行轨迹。简单的 CLI (`deepeval test run …`) 可在 CI/CD 中工作，选配的 Confident AI 平台则增加了云端报告和治理功能。通过 `pip install -U deepeval` 安装，编写 `LLMTestCase` 对象，选择指标并执行，让 LLM 质量测试像传统软件测试一样系统化。
- 项目