msoedov/agentic_security

解决的问题

Agentic Security 是一款开源漏洞扫描器，旨在保护大语言模型 (LLM) 和智能体工作流免受安全威胁。它帮助开发人员和安全团队在部署到生产环境之前，主动识别越狱、模糊测试漏洞和多模态攻击等弱点。

工作原理

该工具通过使用多种攻击向量探测 LLM API 来运行。它使用纯文本 HTTP 规范连接到目标模型，并将占位符替换为特定的攻击提示词。它可以从 Hugging Face、本地 CSV 文件加载数据集，或使用变异（如 Base64 编码或 ROT13）生成动态数据集以绕过安全过滤器。该系统支持文本、图像和音频模态，并可以作为自动化安全检查集成到 CI/CD 流水线中。

适用对象

本项目面向需要对其 AI 系统进行压力测试并确保其能够抵御对抗性攻击的 AI 开发人员、安全研究人员和安全团队。

亮点

• 多模态探测：支持对文本、图像和音频输入进行漏洞扫描。
• 多步越狱：模拟迭代攻击序列以发现深层的安全弱点。
• 基于 RL 的攻击：使用强化学习创建能够针对模型防御进行进化的自适应探测器。
• CI/CD 集成：包含用于开发期间自动化安全扫描的示例 GitHub Action。
• 可扩展的数据集：允许用户添加自定义 CSV 数据集或集成来自 Hugging Face 的现有数据集。