msoedov/agentic_security
Agentic LLM Vulnerability Scanner / AI red teaming kit 🧪
解决的问题
Agentic Security 是一款开源漏洞扫描器，旨在保护大语言模型 (LLM) 和智能体工作流免受安全威胁。它帮助开发人员和安全团队在部署到生产环境之前，主动识别越狱、模糊测试漏洞和多模态攻击等弱点。
工作原理
该工具通过使用多种攻击向量探测 LLM API 来运行。它使用纯文本 HTTP 规范连接到目标模型，并将占位符替换为特定的攻击提示词。它可以从 Hugging Face、本地 CSV 文件加载数据集，或使用变异（如 Base64 编码或 ROT13）生成动态数据集以绕过安全过滤器。该系统支持文本、图像和音频模态，并可以作为自动化安全检查集成到 CI/CD 流水线中。
适用对象
本项目面向需要对其 AI 系统进行压力测试并确保其能够抵御对抗性攻击的 AI 开发人员、安全研究人员和安全团队。
亮点
- 多模态探测：支持对文本、图像和音频输入进行漏洞扫描。
- 多步越狱：模拟迭代攻击序列以发现深层的安全弱点。
- 基于 RL 的攻击：使用强化学习创建能够针对模型防御进行进化的自适应探测器。
- CI/CD 集成：包含用于开发期间自动化安全扫描的示例 GitHub Action。
- 可扩展的数据集：允许用户添加自定义 CSV 数据集或集成来自 Hugging Face 的现有数据集。
相关
- 项目
- 项目
NVIDIA/garakgarak 是一个开源 CLI 框架，可自动探测大型语言模型在幻觉、提示注入、数据泄露、毒性、越狱等方面的安全相关失败。支持 Hugging Face、OpenAI、Bedrock、NIM、Replicate、本地 GGUF 和通用 REST 模型，并提供大量现成的探测器和检测器。结果以 PASS/FAIL 表格形式展示，并以 JSONL 日志格式保存，便于深入分析。
- Dispatch
- 项目
openai/codex-securityCodex Security是OpenAI支持的CLI和TypeScript SDK，可扫描代码库的安全问题、验证发现、生成补丁、起草SECURITY.md策略，并与CI/CD（GitHub Actions、Docker）集成。它支持深度并行扫描、多提供商LLM后端，并以SARIF/JSON/CSV格式导出结果。
- 项目
cisco-ai-defense/skill-scannerSkill Scanner 是一个用于 AI 代理技能包（例如 OpenAI Codex、Cursor、Claude）的开源安全扫描器。它结合基于签名的 YARA/YAML 规则、基于 AST 的数据流分析、可选的 LLM 作为评判，以及 CEL 决策层，以检测提示注入、数据外泄和恶意代码模式。可通过 pip 安装，从 CLI 或 Python SDK 运行，并可通过 GitHub Actions 或 pre-commit hook 集成到 CI/CD。发现结果会以严重性级别报告；干净扫描仅为尽力而为，不保证安全。