raids-lab/crater

解決的問題

Crater 提供一個 Kubernetes 原生的控制平面，用於管理共享 AI 計算集群。它消除了直接使用原始 Kubernetes 進行多租戶 GPU 資源管理的複雜性，以統一介面取代手動 YAML 清單，實現對使用者、配額與 AI 工作負載的集中治理。

工作原理

基於 Kubernetes 與 Volcano 建構，Crater 增加了一層操作層，將使用者、帳戶與佇列與底層計算資源連結。它管理 AI 工作負載的全生命週期——包含 LLM 訓練、推論服務與互動式開發環境——同時提供一個集中式系統，用於管理資料集、模型與容器映像。

適用對象

適用於需要在多個團隊、學生或專案之間共享單一 GPU 集群的大學、研究機構、企業 AI 團隊與平台工程師。

核心亮點

• 多租戶治理：管理帳戶、配額與審核，確保資源分配的公平性與可追蹤性。
• 策略感知排程：利用 Volcano 實現基於佇列的准入控制與跨異質加速器（NVIDIA 等）的優先權感知執行。
• 互動式工作區：一鍵部署容器化的 Jupyter、WebIDE 與終端。
• 資產管理：集中組織模型、資料集與映像，供多個工作負載重複使用。
• AI 輔助運維：提供 Web 控制台、CLI 與代理導向介面，實現自動化與智慧化的集群管理。