Netflix/maestro

解決的問題

Maestro 是一個通用的工作流編排器，專為處理大規模的資料與機器學習工作流程而設計。它提供完全托管的「工作流即服務」（WAAS），讓使用者每天可排程與管理數百萬個工作，即使在流量暴增時也能維持嚴格的服務等級目標（SLO）。

作法原理

Maestro 作為一個基於伺服器的編排器運作，負責管理工作流程（以有向無環圖或 DAG 表示）的執行。使用者可透過 JSON 或 Python SDK 定義工作流程，推送到 Maestro 伺服器並觸發執行。系統具有高度可擴展性，支援與 AWS（透過 SQS/SNS）及 Kubernetes 的整合，並包含擴充模組，提供特殊功能，例如「foreach」步驟的扁平化檢視。

適用對象

專為管理大型資料管道的技術角色設計，包括資料科學家、資料工程師、機器學習工程師、軟體工程師與業務分析師。

主要特色

• 大規模可擴展性：每日可排程數十萬個工作流程與數百萬個工作。
• 托管服務模式：作為「工作流即服務」（WAAS）運作，簡化使用者存取。
• 彈性部署：支援本地執行、AWS 模組與 Kubernetes。
• Python SDK：提供專用客戶端，用於程式化建立與推送工作流程。