clearml/clearml-agent

ClearML Agent - MLOps/LLMOps made easy. MLOps/LLMOps scheduler & orchestration solution

它解決了什麼問題

ClearML Agent 是一個工作排程與編排解決方案，旨在消除機器學習/深度學習研究中的 DevOps 負擔。它讓研究人員能在任何本地或雲端資源上執行實驗，而不必手動設定環境、管理容器，或處理複雜的 YAML/JSON 模板。

它如何運作

Agent 充當一個工作者，監聽工作佇列。當實驗透過 ClearML UI 被加入佇列時，Agent 會抓取該工作並自動處理以下步驟：

  1. 環境設定：建立虛擬環境或啟動指定的 Docker 容器。
  2. 程式碼取得：從 Git 倉庫克隆所需程式碼。
  3. 相依性安裝：安裝所需的 Python 套件，並根據機器的 CUDA 版本自動選擇正確的 PyTorch 版本。
  4. 執行與監控：執行程式碼，並將所有輸出（stdout/stderr）回傳至 ClearML UI，以便遠端除錯。

它支援裸機、虛擬機與 Kubernetes 部署，並提供 Kubernetes 的「Glue mode」，可將 ClearML 工作直接映射為 K8s 工作。

適用對象

需要在多個 GPU、雲端實例或本地叢集上擴展實驗的機器學習工程師與研究人員，且不需要深入的 DevOps 專業知識。

重點特色

  • 零設定：即開即用的執行方式，無需手動配置模板。
  • 彈性資源管理：可結合雲端與本地硬體的 GPU 資源。
  • 快速啟動支援：提供 Python、Git 與 Agent 的預編譯二進位檔，以加速冷啟動並支援極小容器映像。
  • 多平台支援：支援 Linux、macOS 與 Windows。
  • 編排能力：支援優先佇列、雲端自動擴縮，以及建立複雜的實驗流水線。