cube-studio: 一個具備視覺化流水線編排與異構計算調度的雲原生一站式 ML 平台

它解決了什麼問題

CubeStudio 是一個雲原生、一站式機器學習平台，旨在簡化整個 ML 生命週期。它消除了管理基礎設施、環境配置和資源調度的摩擦，讓 AI 開發者能夠從數據標註和互動式開發，無縫過渡到分散式訓練和模型部署，而無需手動配置伺服器或 Kubernetes 集群。

運作方式

該平台建立在 Kubernetes 之上，可在多個集群和資源組之間編排計算資源（CPU、GPU、NPU）。它提供了一個基於 Web 的介面，用於：

• 線上開發：整合了 JupyterLab 和 VS Code 等 IDE，用於互動式編碼。
• 流水線編排：一個拖放式的視覺化編輯器，用於構建 ML 工作流（數據導入 $ ightarrow$ 預處理 $ ightarrow$ 訓練 $ ightarrow$ 評估 $ ightarrow$ 部署）。
• 資源管理：異構硬體（NVIDIA、Huawei Ascend 等）的自動化調度，並支援 RDMA 以進行高速分散式訓練。
• 推理服務：一個「零代碼」部署系統，用於提供模型服務，並支援金絲雀發布、自動擴展和流量切分。

目標對象

• AI 研究人員與工程師：需要可擴展的環境進行分散式訓練和快速原型設計。
• MLOps 團隊：尋求標準化 ML 流水線、管理多租戶資源配額並監控 GPU 利用率。
• 企業 AI 團隊：需要一個支援多樣化硬體架構（ARM、x86）和各種 AI 加速器的集中式平台。

重點特色

• 異構計算支援：相容於廣泛的 GPU/NPU（T4、V100、A100、Ascend、DCU）和 ARM 架構。
• 視覺化流水線編輯器：透過內建的特徵處理和模型訓練算子進行拖放式工作流編排。
• 整合式標註：內建的數據標註平台，支援圖像、文本、音訊和多模態數據，包括 LLM 輔助的自動標註。
• LLM 生態系統：專門支援大模型微調（透過 Llama-Factory）、分散式推理（vLLM）以及包含 400 多個預訓練模型的模型中心（AIHub）。
• 企業級管理：包含 SSO、RBAC、多租戶資源隔離以及針對計算使用的詳細計費/計量功能。