Hugging Face 收購 XetHub 以升級 Hub 儲存與協作

TL;DR

Hugging Face 宣佈收購 XetHub，這是一家位於西雅圖的新創公司，為 TB 級 AI 資料集與模型打造 Git 規模的儲存與版本管理，提升協作效率，並為 Hub 上的千兆參數模型支援鋪路。

我們在 Hugging Face 的共同目標

「XetHub 團隊將協助我們透過切換至自家更優化的 LFS 版本作為 Hub 儲存庫的後端，解鎖未來五年 HF 資料集與模型的成長。」– Julien Chaumond, HF CTO

Hugging Face 於 2020 年以 Git LFS 建立了最初的 Hub，因為當時這是早期成長的務實選擇。公司現在計畫以 XetHub 的最佳化儲存與版本系統取代 Git LFS，該系統專為現代 AI 工作流程中常見的極大檔案設計。

未來使用案例示例 🔥

  • 對大型 Parquet 檔案的增量更新 – 目前在 10 GB Parquet 檔案中新增單一列需要重新上傳整個檔案。XetHub 的分塊儲存與去重功能將只上傳受影響的區塊，顯著降低頻寬與延遲。
  • 對 GGUF 模型標頭的細粒度更新 – 在 Llama 3.1 405B GGUF 儲存庫中更新單一元資料欄位，未來只需上傳數千位元組，而非整個多 GB 的模型檔案。
  • 擴展至千兆參數模型 – 隨著新發布的 BigLlama‑3.1‑1T 等模型的出現，預期 XetHub 技術將讓社群與企業使用者能以空前規模儲存、版本管理與協作資料集與模型。
  • 提升大型資產的協作 – XetHub 將提供工具協助團隊了解資料集與模型的演變，支援可重現性與協同實驗。

目前 Hub 統計 🤯

  • 儲存庫： 1.3 M 模型、450 k 資料集、680 k spaces
  • 儲存空間： LFS 中 12 PB（≈280 M 檔案）以及 Git（非 LFS）中 7.3 TB
  • 流量： 每日 1 B 請求與 6 PB CloudFront 頻寬

這些數據說明了 Hub 目前的運作規模以及對儲存後端的壓力。

創辦人觀點

「我已在 AI/ML 領域工作超過 15 年… XetHub 的目標是讓機器學習團隊如同軟體團隊般運作，透過將 Git 檔案儲存擴展至 TB 級，無縫支援實驗與可重現性，並提供視覺化功能以了解資料集與模型的演變。」– Yucheng Low (@ylow), XetHub 共同創辦人

Low 回顧了他在 Apple（超過 100 PB）擴展資料管線的經驗，並創立 XetHub 將這些教訓帶給更廣大的 AI 社群。此次收購使 XetHub 的使命與 Hugging Face 簡化大規模 AI 協作的目標相契合。

招募公告

Hugging Face 基礎設施團隊正積極招募希望打造與擴展開源 AI 協作平台的工程師。歡迎有意者申請。

在 Hugging Face 上關注 XetHub 團隊 hf.co/xet-team.

Sources