연구자를 위한 Hugging Face Hub 데이터셋 공유
Hugging Face Hub는 머신러닝 데이터셋을 호스팅하고 공유할 수 있는 중앙 집중식 플랫폼을 제공하며, 통합된 탐색 도구, 광범위한 라이브러리 지원 및 강력한 보안 제어를 통해 연구자들이 연구 성과의 영향력을 극대화할 수 있도록 지원합니다. 이 인프라는 Google, Nvidia, NASA, Stanford를 포함한 주요 기관에서 사용되고 있습니다.
대규모 데이터셋 호스팅 및 스트리밍
Hugging Face Hub는 파일당 및 저장소당 높은 제한 수치를 통해 테라바이트 규모의 데이터셋을 지원합니다. 계산 리소스가 제한적인 연구자들의 접근성을 높이기 위해 Datasets 라이브러리는 데이터셋 스트리밍을 지원하여, 사용자가 전체 저장소를 다운로드하지 않고도 데이터 작업을 수행할 수 있도록 합니다.
현재 Xet 팀은 파일당 제한을 50 GB에서 500 GB로 늘리는 동시에 저장 및 전송 효율성을 개선하기 위한 백엔드 업데이트를 개발 중입니다.
통합 데이터 탐색 도구
Hub에는 사용자가 로컬 다운로드 없이 브라우저에서 직접 데이터와 상호작용할 수 있는 여러 내장 도구가 포함되어 있습니다:
Dataset Viewer
Dataset Viewer는 다양한 모달리티(오디오, 이미지, 비디오)와 CSV, JSON, Parquet를 포함한 파일 형식을 지원합니다. 주요 기능은 다음과 같습니다:
- 전체 텍스트 검색: 텍스트 컬럼은 자동으로 검색이 가능하여 사용자가 특정 항목을 찾을 수 있습니다 (예: Arxiver 데이터셋에서 특정 저자 검색).
- 정렬: 사용자는 컬럼 헤더를 클릭하여 데이터를 정렬함으로써 가장 관련성 높은 예시를 식별할 수 있습니다.
SQL Console
SQL Console은 전체 DuckDB 구문을 사용하는 대화형 브라우저 기반 에디터입니다. 사용자는 클릭 한 번으로 데이터셋에 쿼리를 실행하고 결과 쿼리를 공유하거나 임베드할 수 있습니다. 정규식(regex), JSON, 리스트 및 임베딩을 위한 고급 함수를 지원합니다.
서드파티 라이브러리 통합
Hub에 호스팅된 데이터셋은 널리 사용되는 오픈 소스 데이터 도구와 즉시 호환됩니다. 이러한 라이브러리 중 다수는 hf:// 프로토콜을 사용하여 단 한 줄의 코드로 데이터셋을 로드하거나 스트리밍할 수 있게 해줍니다. 지원되는 라이브러리는 다음과 같습니다:
| Library | Description | 2024 Monthly PyPi Downloads |
|---|---|---|
| Pandas | Python data analysis toolkit | 258M |
| Spark | Distributed large-scale data processing | 29M |
| Datasets | Library for Audio, CV, and NLP datasets | 17M |
| Dask | Parallel and distributed computing | 12M |
| Polars | DataFrame library on OLAP query engine | 8.5M |
| DuckDB | In-process SQL OLAP database | 6M |
| WebDataset | I/O pipelines for large datasets | 871K |
| Argilla | Collaboration tool for AI engineers | 400k |
보안 및 액세스 제어
민감한 데이터를 보호하기 위해 Hub는 세 가지 주요 액세스 수준을 제공합니다:
- Public: 모든 사용자에게 공개된 액세스.
- Private: 소유자와 해당 조직으로 액세스 제한.
- Gated: 자동 승인(이름/이메일 및 약관 동의 필요) 또는 수동 승인(소유자 검토 필요)을 통해 관리되는 액세스.
또한, 플랫폼은 사용자를 보호하기 위해 여러 보안 스캐너를 운용합니다:
- Malware Scanning: 각 커밋 및 방문 시 파일을 검사합니다.
- Secrets Scanning: 하드코딩된 환경 변수나 비밀 정보가 포함된 데이터셋을 차단합니다.
- Pickle Scanning: pickle 파일 내 PyTorch 가중치 임포트를 검사합니다.
- ProtectAI: Guardian 기술을 사용하여 pickle 및 Keras 파일의 익스플로잇을 차단합니다.
커뮤니티 도달 범위 및 가시성
500만 명 이상의 활성 빌더를 보유한 Hub는 다음과 같은 기능을 통해 연구 재현성 및 협업을 촉진합니다:
- 참여 도구: 내장된 토론 탭 및 여러 데이터셋에 대한 조직 수준의 그룹화.
- 발견 가능성: SEO에 최적화된 URL과 데이터셋, 관련 모델, 연구 논문 및 데모 간의 명확한 연결.
- 문서화: 학술 인용 및 상세 설명을 지원하는 맞춤형 README 파일.