huggingface/hf-mount

何を解決するか

hf-mount は、Hugging Face バケットやリポジトリをローカルファイルシステムとしてマウントできるツールです。これにより、使用前に完全なリポジトリをダウンロードまたはクローンする必要がなくなります。特にディスク容量が限られている環境や、ダウンロード待ちが現実的でない大規模な機械学習モデルやデータセットにおいて非常に有用です。

動作方法

このツールは、FUSE（ユーザー空間のファイルシステム）または NFS（ネットワークファイルシステム）バックエンドを使って、Hugging Face ストレージをローカルファイルシステムとして公開します。遅延読み込み（lazy loading）を採用しており、コードが実際にファイルを読み取るまでネットワークからファイルを取得しません。

書き込みモードは2種類サポートしています：シンプルな追記専用のデフォルト「ストリーミング」モードと、ローカルステージングファイルを使用してランダム書き込みやシークをサポートする「高度な書き込み」モード。また、オーバーレイモードも搭載しており、読み取り専用のリモートソースの上に書き込み可能なローカルレイヤーを提供します。

対象ユーザー

• 機械学習エンジニアおよび研究者：完全なリポジトリのダウンロードを避けながら、大規模なモデルやデータセットをトレーニング、推論、評価に使用したい人。
• 開発者：ls、cat、find、grep などの標準UNIXツールを使ってリポジトリの内容を閲覧したいが、クローンしたくない人。
• ディスク容量が限られたユーザー：ローカルストレージが制限された環境で作業している人。

特徴

• 遅延読み込み：アプリケーションが実際にアクセスするバイトのみがダウンロードされます。
• 二重バックエンド：NFS（root権限不要）とFUSE（カーネル統合がより密接）の両方をサポート。
• サブフォルダマウント：リポジトリやバケットの特定のサブディレクトリをマウント可能。
• リモート同期：ライブイベントストリームとバックグラウンドポーリングを使用して、ローカルビューをリモートの変更とリアルタイムで同期。
• オーバーレイモード：ローカルでの書き込みをディスクに永続化しつつ、リモートソースは読み取り専用のままに可能。共有コンパイルキャッシュに有用。
• POSIXメタデータ：メモリ内での基本的なファイルパーミッション、タイムスタンプ、シンボリックリンクをサポート。