huggingface/hf-mount

解决的问题

hf-mount 允许用户将 Hugging Face 存储库和存储桶当作本地文件系统来访问。这消除了在使用前下载或克隆整个仓库的需要，尤其适用于磁盘空间有限或等待下载不切实际的大规模机器学习模型和数据集。

工作原理

该工具使用 FUSE（用户空间文件系统）或 NFS（网络文件系统）后端，将 Hugging Face 存储暴露为本地文件系统。它采用 懒加载 机制，即只有当代码实际读取文件时，才从网络上获取文件。

支持两种写入模式：默认的“流式”模式用于简单的追加写入，以及使用本地暂存文件支持随机写入和定位的“高级写入”模式。此外还具备 叠加模式，其中挂载点作为可写本地层，位于只读远程源之上。

适用人群

• 机器学习工程师和研究人员：希望在不进行完整仓库下载的情况下加载大型模型和数据集用于训练、推理或评估。
• 开发者：希望使用标准 UNIX 工具（ls、cat、find、grep）浏览仓库内容，但不想克隆仓库。
• 磁盘空间有限的用户：在本地存储受限的环境中运行的用户。

主要亮点

• 懒加载：仅下载应用程序实际访问的字节。
• 双后端支持：同时支持 NFS（无需 root 权限）和 FUSE（与内核集成更紧密）。
• 子目录挂载：可挂载仓库或存储桶的特定子目录。
• 远程同步：使用实时事件流和后台轮询，使本地视图与远程更改保持同步。
• 叠加模式：允许本地写入持久化到磁盘，同时保持远程源只读，适用于共享编译缓存。
• POSIX 元数据：支持内存中的基本文件权限、时间戳和符号链接。