facebook/ThreatExchange

解决的问题

此仓库提供用于识别和阻止互联网上有害内容的工具。它解决了高效检测重复或相似图像和视频（内容审核）以及在组织之间共享安全威胁情报（恶意软件、网络钓鱼）的问题。

工作原理

该项目由多个专用工具组成：

• 哈希算法：图像使用 PDQ，视频使用 TMK/vPDQ，将媒体文件转换为唯一的数字签名（哈希）。这些签名使系统即使在文件略有不同时也能找到相似内容。
• HMA（Hasher-Matcher-Actioner）：一个面向 AWS 的可部署平台，用于管理已知有害内容列表，并将新媒体与这些列表进行比对。
• python-threatexchange：一个实现内容扫描的库和命令行工具，通过 Meta 的 API 促进威胁信号的交换。
• ThreatExchange API：一个 RESTful 系统，用于查询和发布安全威胁信息，如钓鱼页面和恶意软件。

适用对象

信任与安全团队、安全研究人员，以及需要自动化内容审核或共享威胁情报以保护用户组织。

主要亮点

• 多模态哈希：专为图像（PDQ）和视频（TMK、vPDQ）设计的算法。
• 可扩展的基础设施：包含面向 AWS 的 HMA 平台和与云无关的 Docker 版本（Open Media Match）。
• 协作式情报：与 Meta 的 ThreatExchange API 集成，实现社区范围内的安全威胁共享。