PrefectHQ/prefect

해결하는 문제

Prefect는 단순한 Python 스크립트를 프로덕션용 데이터 파이프라인으로 변환하도록 설계되었습니다. 데이터 프로세스의 신뢰성, 스케줄링 및 모니터링을 수동으로 관리하는 문제를 해결하여, 팀이 예기치 않은 변경 사항에서 복구하고 외부 이벤트에 반응할 수 있는 탄력적인 워크플로를 구축할 수 있도록 합니다.

작동 방식

사용자는 Python에서 @flow 및 @task 데코레이터를 사용하여 워크플로를 정의합니다. 이를 통해 프레임워크가 이러한 함수의 실행을 오케스트레이션하고, 활동을 추적하며, 분기 및 종속성과 같은 복잡한 로직을 처리할 수 있습니다. 워크플로는 로컬에서 실행하거나 cron을 통해 예약하거나 이벤트에 의해 트리거될 수 있습니다. 모니터링 및 관리는 셀프 호스팅 서버 또는 관리형 클라우드 대시보드를 통해 처리됩니다.

대상

데이터 프로세스를 자동화하고 최소한의 코드 변경으로 스크립트를 로컬 개발에서 프로덕션 환경으로 이동해야 하는 데이터 팀 및 엔지니어.

주요 특징

• 탄력적인 파이프라인: 데이터 프로세스가 조용히 실패하지 않도록 재시도, 캐싱 및 오류 처리를 지원합니다.
• 동적 오케스트레이션: 태스크 간의 복잡한 분기 로직 및 종속성을 처리할 수 있는 능력.
• 이벤트 기반 자동화: 고정된 일정뿐만 아니라 특정 이벤트에 의해 워크플로를 트리거할 수 있습니다.
• 관측 가능성: 워크플로 활동을 추적하기 위한 Prefect 서버 또는 Prefect Cloud 대시보드에 통합된 UI.
• 유연한 배포: 셀프 호스팅 서버 또는 관리형 클라우드 서비스 옵션.