clearml：一站式 MLOps 套件，支援實驗追蹤、編排與資料版本管理

它解決了什麼問題

ClearML 旨在處理訓練生產等級深度學習模型時的「雜亂流程」。它提供一套整合的工具，透過將實驗追蹤、MLOps 編排與資料管理整合於同一平台，簡化 AI 工作流程，減少保存研究成果與將模型推向生產所需的工作量。

它如何運作

ClearML 透過三個主要的執行時元件運作：

• ClearML Python 套件：一個 SDK，只需極少的程式碼變更（通常只要兩行）即可整合到現有腳本，自動記錄參數、指標與環境細節。
• ClearML Server：集中式中心，儲存實驗、模型與工作流程資料，並提供 Web UI 供管理與自動化使用。
• ClearML Agent：負責編排的工具，支援遠端執行、可擴展性與實驗與工作流程的可重現性。

適用對象

此套件為使用機器學習與深度學習框架（如 PyTorch、TensorFlow、Keras 與 Scikit‑Learn）的研究人員與開發者設計，協助他們協作、追蹤實驗並自動化訓練管線。

重點特色

• 自動化實驗追蹤：自動捕捉版本控制資訊、超參數、stdout/stderr、資源監控（CPU/GPU）與模型快照。
• MLOps/LLMOps 編排：支援在 Kubernetes、雲端或裸機上遠端執行任務，並提供 AWS Auto‑Scaler 以自動調整 EC2 實例。
• 可微分資料管理：針對存放於 S3、GS、Azure 或 NAS 等物件儲存的資料集提供版本控制解決方案。
• 模型服務：提供可擴展的模型端點部署方案，透過 Nvidia‑Triton 支援 GPU 並內建監控功能。
• 超參數最佳化：內建貝葉斯最佳化演算法，用於黑箱程式碼的最佳化。
• 分割式 GPU：基於容器的驅動層 GPU 記憶體限制，提升資源利用率。