TangleML/tangle

解決的問題

Tangle 提供一個機器學習實驗與生產流程的視覺化編排系統。它消除了手動管理批次工作流程、容器化任務，以及 ML 流程各階段之間資料傳輸的複雜性。

工作原理

Tangle 採用圖形化方法，使用者透過將元件（容器化的命令列程式）拖曳至畫布上來建構流程。這些元件透過將輸出連結至輸入的方式相互串接，形成一個任務的有向圖。

系統由 API 伺服器與編排器管理。編排器使用「Launchers」在各種環境（如本地 Docker、Kubernetes 或 Google Cloud）執行這些容器，並處理任務間的資料製品傳遞。支援自動執行快取，避免重複計算。

適用對象

專為需要建構、監控與迭代可在本地或雲端執行的批次 ML 工作流程的 ML 工程師與資料科學家設計。

主要特色

• 視覺化流程建構器：直覺的拖曳介面，用於建立工作流程。
• 與 Cortana 無關的元件：元件可使用任何語言（Python、R、Java 等）撰寫，並相容於 Google Cloud Vertex AI 與 Kubeflow Pipelines。
• 彈性部署：可透過 Docker/Podman 在本地執行，或託管於 HuggingFace Spaces。
• 執行快取：自動重用快取中的成功執行結果，節省時間與運算資源。
• 可重現性：完整保留執行歷程，包含圖譜、日誌與元資料，支援輕鬆克隆與重新執行。