prompt-security/ps-fuzz

解決する課題

開発者が、動的なLLMベースの攻撃に対してシステムプロンプトのセキュリティを評価することで、GenAIアプリケーションを強化するのを支援します。脱獄（jailbreak）、プロンプトインジェクション、システムプロンプトの漏洩などの脆弱性を特定し、開発者がプロンプトの回復力を反復的に改善できるようにします。

仕組み

このツールは、ユーザーのシステムプロンプトのコンテキストに基づいて攻撃シミュレーションを適応させる、動的なテストアプローチを採用しています。脱獄、プロンプトインジェクション、RAGポイズニング、システムプロンプト抽出などのカテゴリにわたる16種類の異なる攻撃タイプをサポートしています。ユーザーは、インタラクティブモードまたはバッチ処理用のCLIを介してこれらのテストを実行でき、幅広いLLMプロバイダーとカスタムAPIエンドポイントをサポートしています。

対象者

LLMベースのシステムのセキュリティを評価し、強化する必要があるGenAIアプリケーションを構築している開発者およびセキュリティ研究者。

ハイライト

• 幅広いプロバイダー対応: OpenAI、Anthropic、Google PaLM、およびOllama経由のセルフホストオプションを含む16のLLMプロバイダーをサポートしています。
• 多様な攻撃ライブラリ: DAN、Base64回避、RAGポイズニング用のHidden Parrot攻撃など、16の異なる攻撃タイプが含まれています。
• 柔軟な実行: インタラクティブなPlaygroundチャットインターフェースと、自動バッチテスト用のCLIの両方を提供します。
• RAGテスト: ベクターデータベースのドキュメントに埋め込まれた悪意のある指示が、システムプロンプトを上書きできるかどうかを特別にテストします。
• マルチスレッドテスト: セキュリティ評価プロセスを高速化するために、マルチスレッド実行をサポートしています。