Netflix/maestro

解决的问题

Maestro 是一个通用的工作流编排器，专为大规模处理数据和机器学习工作流而设计。它提供完全托管的「工作流即服务」（WAAS），使用户能够每天调度和管理数百万个任务，即使在流量激增时也能保持严格的性能目标（SLO）。

工作原理

Maestro 作为一个基于服务器的编排器运行，负责管理工作流（以有向无环图 DAG 表示）的执行。用户可以通过 JSON 或 Python SDK 定义工作流，将其推送到 Maestro 服务器并触发执行。该系统具有高度可扩展性，支持与 AWS（通过 SQS/SNS）和 Kubernetes 集成，并包含一个扩展模块，用于实现特殊功能，如「foreach」步骤的扁平化视图。

适用人群

专为管理大规模数据管道的技术角色设计，包括数据科学家、数据工程师、机器学习工程师、软件工程师和业务分析师。

主要亮点

• 大规模可扩展性：每天可调度数十万个工作流和数百万个任务。
• 托管服务模式：作为「工作流即服务」（WAAS）运行，简化用户访问。
• 灵活部署：支持本地执行、AWS 模块和 Kubernetes。
• Python SDK：提供专用客户端，用于程序化创建和推送工作流。