0din-ai/ai-scanner
AI model safety scanner built on NVIDIA garak
解决的问题
它为组织在部署 AI 模型之前进行安全评估提供了一种方法。它作为专门针对 AI 系统的渗透测试工具，识别可能在生产环境中被利用的越狱和其他安全缺陷等漏洞。
工作原理
该应用程序基于 Ruby on Rails 构建，并由 NVIDIA garak 提供支持，会对目标 AI 系统运行一系列“探测器”（攻击提示词）。这些目标可以是基于 API 的 LLM 或基于浏览器的聊天界面。系统会跟踪攻击成功率 (ASR)，并提供关于哪些探测器成功绕过模型安全过滤器的详细日志和报告。
适用对象
需要针对已知攻击向量验证其 AI 系统安全性和鲁棒性的安全团队、AI 开发人员以及部署 LLM 的组织。
亮点
- 广泛的探测器库：包含涵盖 35 个漏洞家族的 179 个社区探测器，与 OWASP LLM Top 10 保持一致。
- 真实世界的攻击：内置了实际由 0DIN 公开的越狱手段以及每种攻击的多种可重定向变体。
- 企业级功能：支持多租户部署、定期扫描和 SIEM 集成（Splunk 或 Rsyslog）。
- 全面的报告：提供具有钻取功能和攻击成功率趋势跟踪功能的 PDF 导出。
相关
- 项目
- 项目
- 项目
- 项目
- 项目