matrixhub-ai/matrixhub

What it solves

MatrixHubは、エンタープライズ規模の推論向けに設計されたセルフホスト型のAIモデルレジストリです。多くのGPUノードにモデルを配布する際の帯域幅のボトルネックを解消し、エアギャップ環境（隔離ネットワーク）へのモデル移動を安全に行う方法を提供し、ファインチューニングされた重みの管理を中央集約化することで、開発環境と本番環境間での一貫性を確保します。

How it works

これはHugging Faceのプライベートな代替手段として機能し、ユーザーが HF_ENDPOINT をプライベートなインスタンスにリダイレクトできるようにします。「一度プルして、すべてに提供する（pull-once, serve-all）」キャッシュメカニズムを使用して配布を加速させ、NetLoaderを介したP2P配布およびGPUへの直接的な重みのストリーミングをサポートします。エンタープライズガバナンスのために、ロールベースのアクセス制御（RBAC）、LDAP/SSO統合、およびマルチテナンシーを備えています。

Who it’s for

セキュリティ、速度、およびGPUクラスターのガバナンスのために、独自のモデルレジストリをホストする必要がある大規模企業のインフラストラクチャエンジニアおよびML研究者。

Highlights

• High-Performance Distribution: 100以上のGPUノードにわたる10Gbps以上の速度とネイティブなP2P配布をサポートします。
• Transparent Proxy: コードの変更を一切必要とせずに、透過的なHugging Faceプロキシとして機能します。
• Enterprise Security: RBAC、マルチテナンシー、監査ログ、および組み込みのマルウェアスキャン機能を備えています。
• Cloud-Native: 公式のHelmチャートと水平スケーリングにより、Kubernetes向けに最適化されています。
• Global Sync: 異なるデータセンター間での非同期かつ再開可能なレプリケーションを自動化します。