praetorian-inc/augustus

解决的问题

Augustus 是一款旨在测试大型语言模型（LLM）安全性和健壮性的漏洞扫描器。它帮助安全专业人员识别诸如提示注入、越狱和数据提取漏洞等弱点，这些弱点可能被对抗性行为者利用。

工作原理

Augustus 使用流水线架构来执行对抗性攻击。它选择一个探针（攻击模式），可选地应用缓冲转换（如 Base64 编码或翻译）以逃避检测，并通过生成器（提供商集成）将提示发送到目标 LLM。然后，检测器（使用模式匹配或 LLM 作为评判者）分析响应，以确定攻击是否成功。

对于复杂攻击，它使用专门的引擎：

• 单轮引擎：针对 PAIR 或 TAP 等探针迭代优化提示。
• 多轮引擎：维护对话历史以绕过安全过滤器，使用诸如 Crescendo（逐步升级）、GOAT（自适应技术切换）、Hydra（拒绝时回溯）和 Mischievous User（随意角色试探）等策略。

适用对象

它专为需要生产级工具进行 LLM 红队测试和漏洞评估的安全专业人员和团队构建，而非面向研究的框架。

亮点

• 广泛的攻击库：涵盖 47 个类别的 210 多个漏洞探针，包括越狱、RAG 投毒和代理攻击。
• 广泛的提供商支持：集成 28 个 LLM 提供商，包括 OpenAI、Anthropic、Azure、Bedrock、Vertex AI 以及本地选项如 Ollama。
• 全面的检测：超过 90 个检测器，包括 LLM 作为评判者和 Perspective API。
• 生产级特性：使用 Go 编写以实现高性能，具备并发扫描、速率限制和单二进制分发。
• 灵活的输出：以 Table、JSON、JSONL 和 HTML 格式生成报告。