Hugging Face와 Protect AI 보안 파트너십: 6개월 진행 보고서

Hugging Face와 Protect AI는 2024년 10월에 파트너십을 맺어 Protect AI의 Guardian 스캔 기술을 Hugging Face Hub에 통합했습니다. 이 파트너십은 인사이트 DB를 통해 개발자에게 인라인 보안 알림과 포괄적인 취약점 보고서를 제공함으로써 머신러닝(ML) 공급망을 보호하는 것을 목표로 합니다.

스캔 규모 및 영향

2025년 4월 1일 현재, 파트너십은 모델 보안 스캔에서 다음과 같은 규모를 달성했습니다:

  • 스캔된 전체 모델: 1,410,000개의 리포지토리에서 4,470,000개의 고유 모델 버전.
  • 식별된 위협: 51,700개의 모델에서 352,000개의 위험하거나 의심스러운 문제가 발견되었습니다.
  • 성능: 지난 30일 동안 2억 2,600만 건의 요청을 처리했으며 평균 응답 시간은 7.94 ms였습니다.

새로운 위협 탐지 모듈

Protect AI는 지원되는 모델 파일 형식 범위를 확대하고 정교한 난독화 기법을 식별하기 위해 네 가지 새로운 탐지 모듈을 출시했습니다:

  1. PAIT-ARV-100: Load 시 파일 시스템에 쓰기를 할 수 있는 아카이브 슬립을 감지합니다.
  2. PAIT-JOBLIB-101: Load 시 Joblib 모델에서 의심스러운 코드 실행을 감지합니다.
  3. PAIT-TF-200: TensorFlow SavedModels 내의 구조적 백도어를 식별합니다.
  4. PAIT-LMAFL-300: Llamafile 형식에서 추론 중 악성 코드 실행을 감지합니다.

또한, Guardian은 이제 Keras에서 고위험 CVE-2025-1550 취약점을 감지합니다.

모델 보안에 대한 제로 트러스트 접근 방식

Guardian은 제로 트러스트 접근 방식을 적용하여 사용자의 의도와 관계없이 임의 코드 실행을 본질적으로 위험한 것으로 간주합니다. 이 전략은 공격자들이 압축, 인코딩, 직렬화와 같은 난독화를 사용해 겉보기에 무해한 스크립트나 프레임워크 확장 구성 요소에 악성 페이로드를 숨기는 경우가 많기 때문에 필요합니다. InsightsDB에서 실행 위험을 "의심스러운"으로 표시함으로써, Guardian은 단순 페이로드 검사만으로는 탐지하기 어려운 위험을 완화합니다.

ML 모델에서 흔히 나타나는 공격 테마

연구와 200건 이상의 보고서를 제공한 huntr 버그 바운티 프로그램을 통해, Protect AI는 여러 반복되는 공격 벡터를 식별했습니다:

라이브러리 의존 공격 체인

이러한 공격은 사용자의 환경에 존재하는 일반적인 ML 라이브러리(예: PyTorch, Numpy, Pandas)의 함수를 활용합니다. 영향은 라이브러리의 인기도에 비례하며, 예를 들어 PyTorch의 torchvision.io 함수는 피해자의 시스템에서 파일을 덮어쓰거나 삭제하는 데 악용될 수 있습니다.

페이로드 난독화

공격자는 압축 및 직렬화를 이용해 스캐너를 회피합니다. Joblib 및 Keras와 같은 형식은 압축된 페이로드나 중첩된 아카이브를 포함할 수 있어, 사용자를 TarSlip 또는 ZipSlip 취약점에 노출시킵니다. 이러한 취약점은 경로 탐색을 통해 서비스 거부(DoS) 또는 임의 코드 실행을 초래할 수 있습니다.

프레임워크 확장성 취약점

ML 프레임워크는 사용자 정의 레이어 및 설정 기반 코드 로딩과 같은 메커니즘을 제공하여 공격 벡터를 만들 수 있습니다. Keras의 CVE-2025-1550은 기존 보안 기능이 있음에도 불구하고 사용자 정의 레이어가 임의 코드 실행에 악용될 수 있음을 보여줍니다.

공격 벡터 연쇄

정교한 공격자는 여러 취약점을 결합(예: 난독화된 페이로드와 프레임워크 확장 메커니즘을 결합)하여 개별적으로는 무해해 보이는 복잡한 침해 경로를 만듭니다.

향상된 탐지 기능

Guardian은 이러한 위협에 대응하기 위해 탐지 기능을 발전시켰습니다:

  • 깊은 구조 분석: PyTorch와 Pickle용 스캐너는 이제 라이브러리 의존성에 의해 트리거되는 악성 패턴을 식별하기 위해 실행 경로를 검사합니다.
  • 다계층 분석: Guardian은 중첩된 아카이브를 압축 해제하고 압축된 페이로드를 검사하여 Joblib 및 Keras와 같은 형식에서 숨겨진 악성 코드를 찾아냅니다.
  • 프레임워크 분석: 탐지 모듈은 이제 ML 프레임워크 확장 메커니즘을 분석하여 위험한 구현을 차단하고, 공개되기 전에 CVE-2025-1550을 식별합니다.
  • 확장된 형식 지원: 지원 범위에 이제 Joblib, TensorFlow(구조적 백도어용) 및 Llamafile이 포함됩니다.

커뮤니티 기반 보안

Protect AI의 위협 연구는 AI/ML 버그 바운티 프로그램인 huntr에 의해 보강됩니다. 17,000명 이상의 보안 연구자와 함께 커뮤니티는 모델 파일 취약점에 대한 200건 이상의 보고서를 기여했으며, 이는 Hugging Face Hub의 Guardian 스캔 프로세스에 자동으로 통합됩니다.

Sources