matrixhub-ai/matrixhub

它解决了什么问题

MatrixHub 是一个面向企业级推理的自托管 AI 模型注册表。它消除了在将模型分发到大量 GPU 节点时的带宽瓶颈，为将模型安全地移入隔离网络提供了方式，并集中管理微调权重，以确保开发和生产环境之间的一致性。

它如何工作

它作为一个私有的、即插即用的 Hugging Face 替代品，允许用户将 HF_ENDPOINT 重定向到私有实例。它使用「一次拉取，全网分发」的缓存机制来加速分发，并支持 P2P 分发以及通过 NetLoader 直接向 GPU 流式传输权重。对于企业治理，它包含基于角色的访问控制（RBAC）、LDAP/SSO 集成和多租户支持。

适用于谁

需要在 GPU 集群上自主托管模型注册表以实现安全、速度和治理控制的大规模企业中的基础设施工程师和机器学习研究人员。

主要特性

• 高性能分发：支持跨 100+ GPU 节点的 10Gbps+ 速度，以及原生 P2P 分发。
• 透明代理：作为透明的 Hugging Face 代理，无需任何代码更改即可使用。
• 企业级安全：支持 RBAC、多租户、审计日志和内置恶意软件扫描。
• 云原生架构：针对 Kubernetes 优化，提供官方 Helm 图表和水平扩展能力。
• 全局同步：自动化异步、可恢复的数据中心间复制。