matrixhub-ai/matrixhub

What it solves

MatrixHub 是專為企業級推論設計的自託管 AI 模型註冊表。它消除了將模型分發到多個 GPU 節點時的頻寬瓶頸，提供了一種將模型移入隔離網路（air-gapped networks）的安全方式，並集中管理微調後的權重，以確保開發與生產環境之間的一致性。

How it works

它充當 Hugging Face 的私有、即插即用替代方案，允許使用者將其 HF_ENDPOINT 重定向到私有實例。它使用「一次拉取，全體服務」的快取機制來加速分發，並透過 NetLoader 支援 P2P 分發與直接到 GPU 的權重串流。針對企業治理，它包含角色存取控制（RBAC）、LDAP/SSO 整合以及多租戶功能。

Who it’s for

大型企業中的基礎設施工程師與 ML 研究人員，他們需要為了安全性、速度以及對 GPU 集群的治理，而託管自己的模型註冊表。

Highlights

• High-Performance Distribution: 支援跨 100+ GPU 節點的 10Gbps+ 速度以及原生 P2P 分發。
• Transparent Proxy: 作為透明的 Hugging Face 代理伺服器運作，無需任何程式碼更改。
• Enterprise Security: 具備 RBAC、多租戶、稽核日誌以及內建的惡意軟體掃描。
• Cloud-Native: 針對 Kubernetes 進行了優化，提供官方 Helm charts 與水平擴展能力。
• Global Sync: 自動化不同資料中心之間非同步且可恢復的複製作業。