facebook/ThreatExchange

해결하는 문제

이 저장소는 인터넷 전반에서 해로운 콘텐츠를 식별하고 차단하기 위한 도구를 제공합니다. 중복되거나 유사한 이미지 및 동영상을 효율적으로 탐지하는 문제(콘텐츠 모더레이션)와 조직 간에 보안 위협 정보(멀웨어, 피싱)를 공유하는 문제를 해결합니다.

작동 방식

이 프로젝트는 여러 전문 도구로 구성되어 있습니다:

• 해시 알고리즘: 이미지용 PDQ와 동영상용 TMK/vPDQ는 미디어 파일을 고유한 디지털 서명(해시)으로 변환합니다. 이러한 서명을 통해 파일이 약간 다를지라도 유사한 콘텐츠를 찾을 수 있습니다.
• HMA (Hasher-Matcher-Actioner): AWS용 배포 가능한 플랫폼으로, 알려진 해로운 콘텐츠 목록을 관리하고 새로운 미디어를 해당 목록과 비교합니다.
• python-threatexchange: 콘텐츠 스캔을 구현하는 라이브러리 및 명령줄 도구로, Meta의 API를 통해 위협 신호를 교환할 수 있도록 지원합니다.
• ThreatExchange API: 피싱 페이지 및 멀웨어와 같은 보안 위협 정보를 쿼리하고 게시하는 RESTful 시스템입니다.

대상 사용자

신뢰 및 안전 팀, 보안 연구자, 사용자를 보호하기 위해 콘텐츠 모더레이션을 자동화하거나 위협 정보를 공유해야 하는 조직.

주요 특징

• 다중 모달 해시: 이미지(PDQ)와 동영상(TMK, vPDQ) 전용 전용 알고리즘.
• 확장 가능한 인프라: AWS용 HMA 플랫폼과 클라우드에 의존하지 않는 Docker 기반 버전(Open Media Match)을 포함합니다.
• 협업형 인텔리전스: Meta의 ThreatExchange API와 통합되어 커뮤니티 전체에서 보안 위협을 공유할 수 있습니다.