Netflix/maestro

해결하는 문제

Maestro는 대규모 데이터 및 머신러닝 워크플로우를 처리하도록 설계된 일반적인 워크플로우 오케스트레이터입니다. 사용자가 매일 수백만 개의 작업을 스케줄링하고 관리할 수 있는 완전히 관리되는 '워크플로우 앤드 서비스'(WAAS)를 제공하며, 트래픽 급증 시에도 엄격한 서비스 수준 목표(SLO)를 유지합니다.

작동 방식

Maestro는 워크플로우(방향성 비순환 그래프 또는 DAG로 표현)의 실행을 관리하는 서버 기반 오케스트레이터로 작동합니다. 사용자는 JSON 또는 Python SDK를 통해 워크플로우를 정의하고 Maestro 서버에 푸시한 후 실행을 트리거할 수 있습니다. 시스템은 매우 확장 가능하며 AWS(SQS/SNS를 통해) 및 Kubernetes와의 통합을 지원하며, 'foreach' 단계의 평탄화 뷰와 같은 특수 기능을 제공하는 확장 모듈도 포함하고 있습니다.

대상 사용자

대규모 데이터 파이프라인을 관리하는 기술 직무를 위한 것으로, 데이터 과학자, 데이터 엔지니어, 머신러닝 엔지니어, 소프트웨어 엔지니어, 비즈니스 분석가가 해당됩니다.

주요 특징

• 대규모 확장성: 하루에 수십만 개의 워크플로우와 수백만 개의 작업을 스케줄링 가능.
• 관리형 서비스 모델: 사용자 접근을 간소화하는 워크플로우 앤드 서비스(WAAS)로 운영.
• 유연한 배포: 로컬 실행, AWS 모듈, Kubernetes를 지원.
• Python SDK: 프로그래밍적으로 워크플로우를 생성하고 푸시하기 위한 전용 클라이언트 제공.