requie/AI-Red-Teaming-Guide

解決する課題

AI Red Teaming は、AIシステムが悪用される前にセキュリティ上の脆弱性をプロアクティブに特定するという課題を解決します。AIが単純なチャットボットから、コードの実行、ファイルへのアクセス、インフラとの対話が可能な自律型エージェントへと進化するにつれ、従来のセキュリティテストでは不十分になっています。本ガイドは、プロンプトインジェクション、エージェントの目標ハイジャック、サプライチェーン攻撃といった新しい障害モードを明らかにするための構造化された手法を提供し、組織が現実世界の脅威からAIデプロイメントを保護できるよう支援します。

仕組み

本ガイドは、NIST、OWASP、MITREなどの確立されたサイバーセキュリティの実践を、AI特有の非決定的な性質に適応させています。以下のための包括的なフレームワークを提供します：

• 脅威モデリング：攻撃者がAIエージェントやモデルをどのように操作する可能性があるかを特定します。
• 敵対的テスト：特定の技術を使用して安全ガードレールを回避し、システムの回復力をテストします。
• 統合：これらのセキュリティチェックをソフトウェア開発ライフサイクル (SDLC) およびインシデント対応計画に組み込みます。
• 継続的評価：NIST AI RMF などのフレームワークを使用して、システムライフサイクル全体を通じてリスクを監視および管理します。

対象読者

• セキュリティチーム：AIセキュリティプログラムの構築を担当するチーム。
• AI/ML エンジニア：AIシステムの開発と保護を担当するエンジニア。
• リスクマネージャー：AI導入に伴うビジネスおよび規制上のリスクを評価する担当者。
• コンプライアンス担当者：AI固有の規制への準拠を確保する担当者。

ハイライト

• 主要なAI研究所での広範な業界経験に基づくエビデンスベースの手法。
• NIST AI RMF、OWASP GenAI、MITRE ATLAS などの主要な標準との完全な整合性。
• エージェントによるツール使用、RAG の脆弱性、サプライチェーンリスクなどの現代的な脅威に対するテストのための、実践的で実行可能なガイダンス。
• AIレッドチーミングプログラムを開始するための 30/60/90 日間のクイックスタートガイド。
• ケーススタディ、攻撃の分類法、防御アーキテクチャパターンを含む広範なリソース。