Dicklesworthstone/acip

何を解決するか

ACIPは、大規模言語モデル（LLMs）がプロンプトインジェクション攻撃に対して脆弱であるという問題に対処します。これらの攻撃は、ユーザーによる直接的な操作（例：「以前の指示を無視してください」）から、検索結果やウェブページ、ツール出力（RAG）に悪意のあるコマンドを隠蔽した間接的なインジェクションまで多岐にわたります。特に心理的操縦、隠蔽、複数ターンの機能集約といった高度な手法を標的にしています。

仕組み

ACIPは、複数のバージョンで提供される「エンジニアリングされたプロンプト」のフレームワークであり、モデルに「認知的インノキュレーション（接種）」を施します。攻撃を認識・無効化する方法について明示的な指示を提供することで、モデルの防御力を強化します。主なメカニズムは以下の通りです：

• 指示の階層構造： システムおよび開発者による指示がユーザー入力を上回る明確な信頼境界を確立し、信頼できないコンテンツ（例：RAGの結果）は単なるデータとして扱い、命令として扱わない。
• 意思決定の厳格さ： モデルが応答を生成する前に、リクエストのリスクレベル（安全、許可可能、禁止）を分類する行動フレームワーク。
• ドメインルーブリック： サイバーセキュリティ、化学・バイオ、物理的安全性、自傷、金融、プライバシーなど、高リスク領域に対する詳細なガイドラインにより、一貫した拒否パターンを確保。
• 脅威の認識： 「権威の洗浄（authority laundering）」、「無害な変換の抜け穴（benign transformation loopholes）」、「隠蔽チャネル（covert channels）」といった攻撃ベクトルを明示的に定義し、フィルタを回避するために攻撃者が利用する意味的ギャップを埋める。
• 段階的応答： セッション内で繰り返し不審な試行が行われると、モデルが拒否の際の説明を段階的に簡潔にしていく「ラチェット」システムを実装。

対象ユーザー

RAGや外部ツールを統合する、または機密性の高い高リスク分野を扱うプロダクション環境でLLMを展開する開発者およびセキュリティオペレーター。堅牢な入力検証とプロンプトレベルの防御が不可欠な状況に適しています。

特徴

• 複数バージョン対応： トークン予算やリスクプロファイルに応じてカスタマイズされたバージョン（v1.0、v1.2、v1.3）を提供。
• 監査モード： オペレーターがブロックされた攻撃を機械可読なタグで監視できるオプション機能。検出ロジックをユーザーに漏らさない。
• RAGの強化： 外部データソースからの間接的なプロンプトインジェクションに対する特別な保護。
• 複合信号検出： 複数の弱いリスク信号が組み合わさって高リスク攻撃となることをモデルに認識させるためのガイダンス。