0din-ai/ai-scanner

AI model safety scanner built on NVIDIA garak

解决的问题

为组织提供在部署 AI 模型前进行安全评估的方法。它作为 AI 系统的渗透测试工具，能够识别可能在生产环境中被利用的漏洞，如越狱攻击和其他安全缺陷。

工作原理

基于 Ruby on Rails 构建，并由 NVIDIA garak 驱动，该应用程序会对 AI 目标运行一系列“探测”（攻击提示）。这些目标可以是基于 API 的 LLM 或基于浏览器的聊天界面。系统会跟踪攻击成功率（ASR），并提供详细的日志和报告，说明哪些攻击成功了。

适用对象

需要验证其系统对已知威胁模式的安全性和鲁棒性的 AI 模型部署团队和组织。

主要亮点

  • 丰富的探测库：包含 179 个社区探测，覆盖 35 个漏洞类别，与 OWASP LLM Top 10 保持一致。
  • 真实世界攻击：内置 0DIN 公开的越狱攻击及多种可重定向变体，而非模拟攻击。
  • 企业级功能：支持多租户部署、定时扫描和 SIEM 集成（Splunk、Rsyslog）。
  • 详细报告：支持导出 PDF 报告，包含逐探测的深入分析和 ASR 评分的趋势追踪。

相关

  • 项目
    msoedov/agentic_security

    针对 LLM 和智能体工作流的开源漏洞扫描器，保护 AI 系统免受越狱、模糊测试和多模态攻击。

  • 项目
    Tencent/AI-Infra-Guard

    AI‑Infra‑Guard (A.I.G) 是一个开源、可透过 Docker 部署的平台，专门用于 AI 服务的红队安全测试。它能扫描即时 LLM 端点、AI 代理工作流以及模型控制平面代码，检测 CVE、越狱漏洞及代理失控风险，并透过网页 UI 和 REST API 呈现结果。

  • 项目
    NVIDIA/garak

    garak 是一个开源 CLI 框架，可自动探测大型语言模型在幻觉、提示注入、数据泄露、毒性、越狱等方面的安全相关失败。支持 Hugging Face、OpenAI、Bedrock、NIM、Replicate、本地 GGUF 和通用 REST 模型，并提供大量现成的探测器和检测器。结果以 PASS/FAIL 表格形式展示，并以 JSONL 日志格式保存，便于深入分析。

  • 项目
    confident-ai/deepteam

    一个用于模拟对抗攻击并发现 LLM 系统漏洞的开源红队框架，同时提供生产环境安全防护机制。

  • 项目
    cisco-ai-defense/skill-scanner

    Skill Scanner 是一个用于 AI 代理技能包（例如 OpenAI Codex、Cursor、Claude）的开源安全扫描器。它结合基于签名的 YARA/YAML 规则、基于 AST 的数据流分析、可选的 LLM 作为评判，以及 CEL 决策层，以检测提示注入、数据外泄和恶意代码模式。可通过 pip 安装，从 CLI 或 Python SDK 运行，并可通过 GitHub Actions 或 pre-commit hook 集成到 CI/CD。发现结果会以严重性级别报告；干净扫描仅为尽力而为，不保证安全。