huggingface/hf-mount

해결하는 문제

hf-mount는 Hugging Face 버킷과 리포지토리를 컴퓨터의 로컬 폴더처럼 접근할 수 있게 해줍니다. 이로 인해 모델이나 데이터셋을 사용하기 전에 전체를 다운로드할 필요가 없어지며, 디스크 공간을 절약하고 다운로드 대기 시간을 줄일 수 있습니다.

작동 방식

이 도구는 애플리케이션과 Hugging Face Hub 사이의 다리 역할을 하며, FUSE(Filesystem in Userspace) 또는 NFS(Network File System)를 사용하여 가상 파일시스템을 제공합니다. 파일은 지연 로딩(lazy loading) 방식으로 가져오며, 코드가 실제로 읽는 부분만 다운로드됩니다. 또한 순차적 접근을 최적화하기 위해 적응형 프리페치 버퍼를 사용합니다. xet-core를 기반으로 한 콘텐츠 주소 기반 스토리지와 fuser를 사용한 FUSE 구현 기반으로 개발되었습니다.

대상 사용자

• ML 엔지니어 및 연구자: 대규모 모델과 데이터셋에서 학습, 추론, 평가와 같은 읽기 중심 작업을 수행하는 사람.
• 디스크 공간이 제한된 개발자: 로컬에 전체 리포지토리를 저장할 수 없는 사용자.
• AI 에이전트: ls, cat, grep 같은 표준 UNIX 도구를 사용해 데이터와 상호작용할 수 있지만, 전용 API가 필요 없는 에이전트.

주요 기능

• 지연 로딩: 필요할 때만 데이터를 가져오며, 전체 리포지토리 클론을 피합니다.
• 이중 백엔드: NFS(루트 권한 필요 없음)와 FUSE(커널 통합이 더 밀접)를 모두 지원합니다.
• 서브폴더 마운트: 리포지토리나 버킷의 특정 하위 디렉터리를 마운트할 수 있습니다.
• 오버레이 모드: 읽기 전용 원격 뷰를 쓰기 가능한 로컬 디스크 위에 겹쳐서 사용할 수 있으며, 공유 컴파일 캐시에 유용합니다.
• 원격 동기화: 백그라운드에서 폴링하여 원격 변경 사항을 자동 감지하고 로컬 뷰를 업데이트합니다.
• 고급 쓰기 지원: 로컬 스테이징 파일을 통해 랜덤 쓰기, 시크, 덮어쓰기를 지원합니다.