prompt-security/ps-fuzz

解決的問題

它透過評估系統提示詞針對動態 LLM 攻擊的安全性，幫助開發人員強化 GenAI 應用程式。它可以識別諸如越獄、提示詞注入和系統提示詞洩漏等漏洞，允許開發人員迭代優化提示詞以提高其韌性。

工作原理

該工具採用動態測試方法，根據用戶系統提示詞的上下文調整攻擊模擬。它支援涵蓋越獄、提示詞注入、RAG 投毒和系統提示詞提取等類別的 16 種不同攻擊類型。用戶可以在互動模式下或透過 CLI 進行批次處理，支援廣泛的 LLM 提供商和自定義 API 端點。

適用對象

需要評估並加強其基於 LLM 的系統安全性之 GenAI 應用程式開發人員與安全研究人員。

亮點

• 廣泛的提供商支援：支援 16 家 LLM 提供商，包括 OpenAI、Anthropic、Google PaLM 以及透過 Ollama 實現的自託管選項。
• 多樣化的攻擊庫：包含 16 種不同的攻擊類型，例如 DAN、Base64 規避以及用於 RAG 投毒的 Hidden Parrot 攻擊。
• 靈活的執行方式：提供互動式 Playground 對話介面和用於自動化批次測試的 CLI。
• RAG 測試：專門測試嵌入在向量資料庫文件中的惡意指令是否會覆蓋系統提示詞。
• 多執行緒測試：支援多執行緒執行以加快安全評估進程。