dagster-io/dagster

해결하는 문제

Dagster는 기계학습 모델, 테이블, 보고서와 같은 데이터 자산의 개발 및 유지보수를 단순화하기 위해 설계된 클라우드 네이티브 데이터 파이프라인 오케스트레이터입니다. 로컬 개발 및 테스트에서부터 프로덕션 배포에 이르기까지 데이터 개발 라이프사이클 전체를 관리하는 복잡성을 해결하기 위해 통합된 라인리지 및 옵저버빌리티를 제공합니다.

작동 방식

사용자는 생성하고자 하는 데이터 자산을 Python 함수로 정의합니다. Dagster는 이러한 함수를 최적의 시점에 실행하여 자산을 최신 상태로 유지합니다. 선언형 프로그래밍 모델을 사용하여 종속성을 추적하고 자산의 그래프를 구축하며, 웹 UI를 통해 시각화하고 관리할 수 있습니다.

대상 사용자

로컬, 스테이징, 프로덕션 환경 등 다양한 환경에서 복잡한 데이터 자산을 관리하고 견고하고 확장 가능한 데이터 파이프라인을 구축해야 하는 데이터 전문가 및 엔지니어를 위한 도구입니다.

주요 특징

• 중앙 집중식 메타데이터 및 진단을 제공하는 통합된 라인리지 및 옵저버빌리티.
• Python 함수를 사용한 데이터 자산의 선언형 정의.
• 기술적 및 조직적으로 확장 가능한 강력한 멀티테넌트 오케스트레이션 엔진.
• 인기 있는 데이터 도구와의 광범위한 통합 라이브러리.
• 테스트 가능성과 CI/CD 최적화 실천에 대한 강한 집중.