Hugging FaceがXetHubを取得し、Hubのストレージとコラボレーションを強化

要点

Hugging Faceは、シアトル拠点のスタートアップXetHubの買収を発表しました。XetHubはテラバイト規模のAIデータセットとモデル向けにGitスケールのストレージとバージョニングを構築し、より効率的なコラボレーションを可能にし、Hubでの兆パラメータモデルのサポートへの道を開きます。

Hugging Faceでの共通の目標

「XetHubチームは、Hubのリポジトリのストレージバックエンドとして、独自のより優れたLFSバージョンに切り替えることで、HFデータセットとモデルの今後5年間の成長を解き放つ手助けをしてくれます。」 – Julien Chaumond, HF CTO

Hugging Faceは2020年に元々のHubをGit LFS上に構築しました。これは初期の成長に対して実用的な選択だったからです。同社は現在、Git LFSをXetHubの最適化されたストレージおよびバージョニングシステムに置き換える計画で、これは現代のAIワークフローで典型的な非常に大きなファイル向けに設計されています。

今後の利用例 🔥

  • 大規模Parquetファイルへのインクリメンタル更新 – 現在、10 GBのParquetファイルに1行追加するだけで、ファイル全体を再アップロードする必要があります。XetHubのチャンク化ストレージと重複排除により、影響を受けたチャンクだけをアップロードでき、帯域幅とレイテンシが劇的に削減されます。
  • GGUFモデルヘッダーへの細粒度更新 – Llama 3.1 405B GGUFリポジトリの単一メタデータフィールドを更新する場合、将来的にはフルのマルチギガバイトモデルファイルではなく、数キロバイトだけのアップロードで済むようになります。
  • 兆パラメータモデルへのスケーリング – 新たにリリースされたBigLlama‑3.1‑1Tのようなモデルが登場するにつれ、XetHubの技術はコミュニティとエンタープライズのユーザーがデータセットとモデルを前例のない規模で保存、バージョン管理、共同作業できるようにすることが期待されています。
  • 大規模アセットでのコラボレーション向上 – XetHubは、チームがデータセットとモデルの進化を理解できるツールを提供し、再現性と協調的な実験を支援します。

現在のHub統計 🤯

  • リポジトリ: 130万モデル、45万データセット、68万スペース
  • ストレージ: LFSで12 PB（≈2.8億ファイル）とGit（非LFS）で7.3 TB
  • トラフィック: 1 十億のデイリリクエストと6 PBのデイリCloudFront帯域幅

これらの数字は、Hubが現在運用されている規模とストレージバックエンドへの負荷を示しています。

創業者の視点

「私はAI/MLの世界に15年以上携わってきました… XetHubの目標は、Gitファイルストレージをテラバイト規模にスケールさせ、実験と再現性をシームレスに可能にし、データセットとモデルの進化を理解するための可視化機能を提供することで、MLチームがソフトウェアチームのように活動できるようにすることです。」 – Yucheng Low (@ylow), XetHub共同創業者

LowはAppleでデータパイプラインを100 PB以上にスケールさせた経験と、XetHubを創業してその教訓を広範なAIコミュニティに提供した経緯を語ります。この買収は、XetHubのミッションをHugging Faceの大規模AIコラボレーションをシンプルにするという目標と一致させます。

採用のお知らせ

Hugging Faceのインフラストラクチャチームは、オープンソースAIコラボレーションプラットフォームを構築・スケールしたいエンジニアを積極的に募集しています。興味のある方はぜひご応募ください。

Hugging FaceでXetHubチームをフォローする hf.co/xet-team。

Sources