RiccardoBiosas/awesome-MLSecOps

解決する課題

MLSecOps（Machine Learning Security Operations）は、データ収集からモデル開発、デプロイ、監視、インシデント対応に至るまで、機械学習ライフサイクルのあらゆる段階にセキュリティを組み込む実践です。このプロジェクトは、AIセキュリティに関するオープンソースツール、研究、学習教材を見つけるための、単一かつ組織化されたエントリーポイントが存在しないという問題に対処します。実践者が、敵対的テスト、プライバシー保護、サプライチェーン保護、LLMアプリケーションやAIエージェントのセキュリティ確保のためのリソースを発見するのに役立ちます。

仕組み

これは、数百のオープンソースツール、フレームワーク、研究リポジトリ、参考資料を明確なカテゴリにグループ化した、キュレーションされたインデックス（「Awesome」リスト）です。主なセクションは以下の通りです。

• オープンソースのセキュリティツール（モデル・アーティファクトのセキュリティ、敵対的MLテスト、具現化AI・ロボティクスのセキュリティ）
• LLMセキュリティおよびレッドチーミングツール（プロンプトインジェクションスキャナー、ジェイルブレイク検出器）
• AIエージェントのセキュリティと不正エージェント対策
• プライバシー保護ML（差分プライバシー、暗号化計算）
• AIサプライチェーンセキュリティ（モデル署名、SBOM生成）
• 脅威モデリング、攻撃ベクトル、MLOpsインフラストラクチャの脆弱性
• 教育リソース：ブログ、書籍、コミュニティリソース、インフォグラフィック

このリストはまた、モデルシリアライゼーション攻撃やエージェントセキュリティなどのトピックに関する詳細な記事を公開する、メンテナーのニュースレター「The MLSecOps Hacker」も宣伝しています。

対象読者

セキュリティエンジニア、ML実践者、開発者、AIレッドチーム、機械学習システムのセキュリティを担当するすべての人。モデルの堅牢性を評価する場合、LLMアプリケーションをテストする場合、データプライバシーを監査する場合、AIエージェントのランタイムを強化する場合など、このカタログは出発点を提供します。メンテナーは貢献とコミュニティ参加も奨励しています。

ハイライト

• 包括的なカバレッジ：モデルシリアライゼーション攻撃から具現化AIセキュリティまで、カタログは攻撃的および防御的なツールを網羅しています。
• 注目すべきエントリには、ModelScan（モデルシリアライゼーション保護）、Garak（LLM脆弱性スキャナー）、Agent-Wiz（エージェントワークフロー向け自動脅威モデリング）、MicrosoftのAgent Governance Toolkitが含まれます。
• 確立されたライブラリ（Adversarial Robustness Toolbox、Foolbox、CleverHans）と、新しい研究プロトタイプ（BadVLA、Provael for robotics）の両方を含みます。
• リソースはクイックナビゲーションのためにグループ化され、プロジェクトが概念実証か本番準備済みかについての明示的な注記があります。
• 積極的にメンテナンスされています：READMEには最近のニュースレター記事とメンテナンスのバッジ、明確な貢献ガイドがあります。