facebook/ThreatExchange

何を解決するか

このリポジトリは、インターネット上の有害なコンテンツを識別・ブロックするためのツールを提供します。重複または類似した画像や動画を効率的に検出する問題（コンテンツモデレーション）と、組織間でセキュリティ脅威情報（マルウェア、フィッシング）を共有する問題を解決します。

動作方法

このプロジェクトは、いくつかの専門的なツールで構成されています：

• ハッシュアルゴリズム：画像用のPDQと動画用のTMK/vPDQは、メディアファイルを一意のデジタル署名（ハッシュ）に変換します。これらの署名により、ファイルがわずかに異なる場合でも類似コンテンツを検出できます。
• HMA（Hasher-Matcher-Actioner）：AWS向けのデプロイ可能プラットフォームで、既知の有害コンテンツのリストを管理し、新しいメディアをそのリストと照合します。
• python-threatexchange：コンテンツスキャンを実装するライブラリおよびコマンドラインツールで、MetaのAPIを介して脅威シグナルの交換を促進します。
• ThreatExchange API：フィッシングページやマルウェアなどのセキュリティ脅威情報を照合・公開するRESTfulシステムです。

対象ユーザー

信頼と安全チーム、セキュリティ研究者、およびユーザーを保護するためにコンテンツモデレーションを自動化または脅威情報の共有が必要な組織。

主な特徴

• マルチモーダルハッシュ：画像（PDQ）と動画（TMK、vPDQ）専用のアルゴリズム。
• スケーラブルなインフラ：AWS向けのHMAプラットフォームと、クラウドに依存しないDockerベースのバージョン（Open Media Match）を含む。
• 協働型インテリジェンス：MetaのThreatExchange APIと統合され、コミュニティ全体でセキュリティ脅威を共有できます。