cube-studio: 視覚的なパイプライン・オーケストレーションと異種コンピューティング・スケジューリングを備えたクラウドネイティブなワンストップMLプラットフォーム
cube-studio: 視覚的なパイプライン・オーケストレーションと異種コンピューティング・スケジューリングを備えたクラウドネイティブなワンストップMLプラットフォーム
何を解決するか
CubeStudioは、MLライフサイクル全体を簡素化するために設計された、クラウドネイティブなワンストップ機械学習プラットフォームです。インフラストラクチャの管理、環境設定、およびリソース・スケジューリングの摩擦を取り除き、AI開発者がサーバーやKubernetesクラスターを手動で設定することなく、データラベリングや対話的な開発から、分散トレーニングやモデルデプロイメントへと移行できるようにします。
仕組み
Kubernetes上に構築されたこのプラットフォームは、複数のクラスターとリソースグループにわたってコンピューティング・リソース(CPU、GPU、NPU)をオーケストレートします。以下のためのWebベースのインターフェースを提供します:
- オンライン開発: 対話的なコーディングのためのJupyterLabやVS Codeのような統合IDE。
- パイプライン・オーケストレーション: MLワークフロー(データインポート $\rightarrow$ 前処理 $\rightarrow$ トレーニング $\rightarrow$ 評価 $\rightarrow$ デプロイメント)を構築するためのドラッグ&ドロップ式の視覚的エディタ。
- リソース管理: 異種ハードウェア(NVIDIA、Huawei Ascendなど)の自動スケジューリング、および高速分散トレーニングのためのRDMAのサポート。
- 推論サービス: カナリアリリース、オートスケーリング、およびトラフィック分割をサポートする、モデルをサービングするための「ゼロコード」デプロイメント・システム。
対象ユーザー
- AI研究者およびエンジニア: 分散トレーニングと迅速なプロトタイピングのためのスキャラブルな環境を必要とする人々。
- MLOpsチーム: MLパイプラインを標準化し、マルチテナントのリソース・クォータを管理し、GPU利用率を監視したいチーム。
- エンタープライズAIチーム: 多様なハードウェア・アーキテクチャ(ARM、x86)と様々なAIアクセラレータを必要とする中央集権的なプラットフォームを必要とするチーム。
ハイライト
- 異種コンピューティングのサポート: 幅広いGPU/NPU(T4、V100、A100、Ascend、DCU)およびARMアーキテクチャとの互換性。
- 視覚的なパイプライン・エディタ: 特徴量処理とモデルトレーニングのための組み込みオペレーターを備えた、ドラッグ&ドロップ式のワークフロー・オーケストレーション。
- 統合されたラベリング: 画像、テキスト、音声、およびマルチモーダル・データをサポートし、LLM支援による自動ラベリングを含む、組み込みのデータラベリング・プラットフォーム。
- LLMエコシステム: 大規模モデルのファインチューニング(Llama-Factory経由)、分散推論(vLLM)、および400以上の事前学習済みモデルを備えたモデルハブ(AIHub)への専用サポート。
- エンタープライズ級の管理: SSO、RBAC、マルチテナントのリソース隔離、およびコンピューティング使用量に関する詳細な請求/メーター機能を含む。
Sources
- undefineddata-infra/cube-studio