Joe-B-Security/awesome-prompt-injection

概要

awesome-prompt-injection は、プロンプトインジェクション（大規模言語モデル（LLM）に基づくAIシステムのセキュリティ脆弱性）に関するリソースを厳選した、コミュニティ保守のリストです。READMEでは、攻撃者がモデルが読むテキストに隠れた指示を埋め込み、意図しない動作をさせることができると説明しています。このプロジェクトは、記事、チュートリアル、研究論文、ツール、トレーニングチャレンジへのリンクを収集し、このリスクの理解、テスト、緩和を支援します。

内容

リポジトリは明確なセクションに整理されています：

• はじめに – プロンプトインジェクションの平易な説明。直接型と間接型、なぜ危険か、完璧な防御が存在しない理由を含みます。
• 入門リソース – OWASPのLLM Top 10やMetaの「Rule of Two」フレームワークなどの主要な参考資料。
• 記事とブログ – 業界専門家（例：Simon Willison、Microsoft、OpenAI、Snyk）による深掘りと実世界の例。
• チュートリアル – 実践的なガイドとビデオ。
• 研究論文 – 攻撃技術、防御戦略、ベンチマーク（例：適応的攻撃、ツールハイジャック）をカバーする学術論文。
• ツール – プロンプトインジェクションをスキャン、検出、封じ込めるためのオープンソースソフトウェア（例：Garak、OWASP Agent Memory Guard、Augustus）。
• CTF – GandalfやPromptTraceなどの無料トレーニングプラットフォームとキャプチャ・ザ・フラッグチャレンジ。
• コミュニティと貢献 – 参加方法の案内。

目的

プロンプトインジェクションを理解、テスト、防御する必要があるすべての人にとっての単一のエントリーポイントとして機能します。README自体が、この分野は進化しており、既知の万能な修正策はないと説明しているため、厳選されたリソースは完璧な検出ではなく、実用的なアプローチ（侵害されたモデルの能力を制限するなど）に焦点を当てています。

対象読者

このリストは、LLMベースのアプリケーションを構築または監査する開発者、セキュリティ専門家、研究者、AI愛好家を対象としています。基礎を学ぶにも、高度な技術を追うにも役立ちます。

注目すべきハイライト

• README自身の導入部は、プロンプトインジェクションが深刻なセキュリティ問題である理由を明確かつ非技術的に説明しています。
• 公開された防御策でさえ適応的攻撃によって回避され得ることを示す最近の研究へのリンクがあり、堅牢なアーキテクチャ上の保護の必要性を強調しています。
• リソースは攻撃と防御の両方の視点をカバーし、ペネトレーションテストと封じ込めのためのツールを含みます。

要するに、このプロジェクトはAI駆動ソフトウェアの最も差し迫ったセキュリティ課題の一つにおける最新技術を追跡する生きた書誌です。