liu00222/Open-Prompt-Injection

何を解決するか

このツールキットは、LLM統合アプリケーションおよびエージェントのセキュリティ脆弱性に対処し、特に悪意のある入力を用いてモデルが元の指示を無視し、意図しないタスクを実行させようとするプロンプトインジェクション攻撃に焦点を当てています。

動作方法

Open-Prompt-Injectionは、攻撃および防御の実装、評価、拡張を可能にするフレームワークを提供します。ファクトリメソッドを用いたモジュール式アプローチにより、モデル、タスク、攻撃者を生成します。防御の観点からは、以下の2つの専門的なコンポーネントから構成されるパイプラインを提供しています：

• DataSentinel：プロンプトがインジェクション攻撃によって汚染されているかどうかを検出する検出器。
• PromptLocate：インジェクションされた部分を特定し、元の意図されたデータを復元するツール。

対象ユーザー

セキュリティ研究者、AI開発者、評価者向けに設計されており、敵対的プロンプトに対するLLMアプリケーションの堅牢性をベンチマークする必要がある、または検出および回復メカニズムを実装したい人を対象としています。

主な特徴

• エンドツーエンドの防御パイプライン：検出（DataSentinel）と局所化（PromptLocate）を統合し、攻撃されたプロンプトからクリーンなデータを回復します。
• 拡張可能なフレームワーク：PaLM2、Llama、GPTなどさまざまなモデルをサポートし、JSONファイルを介してカスタム攻撃/防御設定を可能にします。
• 評価メトリクス：攻撃の効果を定量化するための攻撃成功値（ASV）を計算するためのツールを含みます。
• 実験管理：ドライラン、失敗したクエリに対する指数バックオフ、中断された実行のチェックポイント機能を備えた堅牢な実行スクリプトを提供します。