Hugging Face와 TruffleHog의 비밀 스캔 파트너십

Hugging Face는 Truffle Security와 파트너십을 맺어 오픈소스 비밀 스캔 도구인 TruffleHog를 플랫폼에 통합했습니다. 이 파트너십은 공개 및 비공개 저장소에서 자격 증명, 토큰, 암호화 키와 같은 민감한 정보가 실수로 유출되는 것을 방지하는 것을 목표로 합니다.

자동 보안 스캔 파이프라인

Hugging Face는 비밀 스캔을 위해 TruffleHog를 포함하도록 자동 보안 스캔 파이프라인을 확장했습니다. 이제 플랫폼은 모든 저장소와 커밋에 대해 세 가지 구별된 스캔 유형을 수행합니다:

  • Malware Scanning: 알려진 악성코드 서명을 탐지하기 위해 ClamAV를 활용합니다.
  • Pickle Scanning: pickle 파일 내에서 악성 실행 코드를 식별하기 위해 picklescan을 사용합니다.
  • Pickle Scanning: pickle 파일 내에서 악성 실행 코드를 식별하기 위해 picklescan을 사용합니다.
  • Secret Scanning: 매 푸시 시 새로운 파일이나 수정된 파일마다 trufflehog filesystem 명령을 실행하도록 TruffleHog를 사용합니다.

검증된 비밀(제공자에 대한 인증에 사용될 수 있음이 확인된 비밀)이 감지되면 Hugging Face는 이메일을 통해 사용자에게 알립니다. 회사는 검증되지 않은 비밀도 제공자 다운타임과 같은 기술적 이유로 검증에 실패할 경우 여전히 위협이 될 수 있다고 언급합니다.

TruffleHog의 Hugging Face 네이티브 스캐너

TruffleHog는 이제 Hugging Face에 대한 네이티브 통합을 포함하여 사용자와 보안 팀이 자체 계정 데이터를 사전 스캔할 수 있게 합니다. 이 통합은 모델, 데이터셋, Spaces뿐만 아니라 관련 Pull Request(PR)와 Discussions도 스캔할 수 있습니다.

스캔 기능 및 제한 사항

네이티브 스캐너는 특정 사용자, 조직 또는 개별 모델, 데이터셋, Spaces를 대상으로 할 수 있지만 현재 Large File Storage(LFS)에 저장된 파일은 스캔하지 않습니다. LFS 지원은 TruffleHog 팀에서 개발 중입니다.

사용 명령

사용자는 다음 명령을 사용하여 계정 데이터를 스캔할 수 있습니다:

  • User-level scan: trufflehog huggingface --user <username>
  • Organization-level scan: trufflehog huggingface --org <orgname>
  • Organization and User scan: trufflehog huggingface --user <username> --org <orgname>
  • Targeted scans: --model <model_id>, --dataset <dataset_id> 또는 --space <space_id>와 같은 특정 플래그를 사용하여 특정 자산을 스캔할 수 있습니다.

선택적 플래그 --include-discussions와 --include-prs를 포함하면 Hugging Face 토론 및 PR 댓글을 스캔할 수 있습니다.

인증은 --token 플래그를 사용하거나 HUGGINGFACE_TOKEN 환경 변수를 설정하여 처리할 수 있습니다.

Sources