Netflix/maestro

何を解決するか

Maestro は、大規模なデータおよび機械学習ワークフローを処理するように設計された汎用的なワークフロー・オーケストレーターです。ユーザーが毎日何百万人ものジョブをスケジュール・管理できる完全にマネージドな「ワークフロー・アズ・ア・サービス」（WAAS）を提供し、トラフィックの急増時でも厳格なサービスレベル目標（SLO）を維持します。

動作方法

Maestro は、ワークフロー（有向非巡回グラフ、DAG として表現）の実行を管理するサーバー基盤のオーケストレーターとして動作します。ユーザーは JSON または Python SDK を使ってワークフローを定義し、Maestro サーバーにプッシュして実行を開始できます。このシステムは非常に拡張性が高く、AWS（SQS/SNS を通じて）および Kubernetes との統合をサポートしており、"foreach" ステップのフラット化ビューなどの特殊な機能を提供する拡張モジュールも備えています。

対象ユーザー

大規模なデータパイプラインを管理する技術職向けに設計されており、データサイエンティスト、データエンジニア、機械学習エンジニア、ソフトウェアエンジニア、ビジネスアナリストが該当します。

主な特徴

• 大規模なスケーラビリティ: 日に何十万のワークフロー、何百万のジョブをスケジュール可能。
• マネージドサービスモデル: シンプルなユーザーインターフェースを提供するワークフロー・アズ・ア・サービス（WAAS）として動作。
• 柔軟なデプロイメント: ローカル実行、AWS モジュール、Kubernetes をサポート。
• Python SDK: プログラム的にワークフローを作成・プッシュするための専用クライアントを提供。