prompt-security/ps-fuzz

解决的问题

它通过评估系统提示词针对动态 LLM 攻击的安全性，帮助开发人员强化 GenAI 应用程序。它可以识别诸如越狱、提示词注入和系统提示词泄露等漏洞，允许开发人员迭代优化提示词以提高其韧性。

工作原理

该工具采用动态测试方法，根据用户系统提示词的上下文调整攻击模拟。它支持涵盖越狱、提示词注入、RAG 投毒和系统提示词提取等类别的 16 种不同攻击类型。用户可以在交互模式下或通过 CLI 进行批量处理，支持广泛的 LLM 提供商和自定义 API 端点。

适用对象

需要评估并加强其基于 LLM 的系统安全性的 GenAI 应用程序开发人员和安全研究人员。

亮点

• 广泛的提供商支持：支持 16 家 LLM 提供商，包括 OpenAI、Anthropic、Google PaLM 以及通过 Ollama 实现的自托管选项。
• 多样化的攻击库：包含 16 种不同的攻击类型，例如 DAN、Base64 规避以及用于 RAG 投毒的 Hidden Parrot 攻击。
• 灵活的执行方式：提供交互式 Playground 对话界面和用于自动化批量测试的 CLI。
• RAG 测试：专门测试嵌入在向量数据库文档中的恶意指令是否会覆盖系统提示词。
• 多线程测试：支持多线程执行以加快安全评估进程。