dagster-io/dagster

何を解決するか

Dagster は、機械学習モデル、テーブル、レポートなどのデータ資産の開発と保守を簡素化するクラウドネイティブなデータパイプラインオーケストレーターです。ローカル開発やテストから本番デプロイまで、データ開発ライフサイクル全体の管理の複雑さに対処するために、統合されたラインエージェンスとオブザーバビリティを提供します。

動作方法

ユーザーは作成したいデータ資産を Python 関数として定義します。Dagster は、これらの関数を最適なタイミングで実行し、資産を最新の状態に保ちます。宣言型プログラミングモデルを使用して依存関係を追跡し、資産のグラフを構築します。このグラフは Web UI を介して可視化および管理できます。

対象ユーザー

ローカル、ステージング、本番環境など、さまざまな環境で複雑なデータ資産を管理し、堅牢でスケーラブルなデータパイプラインを構築する必要があるデータ実務者やエンジニア向けです。

特徴

• 中央集権的なメタデータと診断情報を提供する統合されたラインエージェンスとオブザーバビリティ。
• Python 関数を使用したデータ資産の宣言型定義。
• 技術的および組織的にスケーラブルな強力なマルチテナントオーケストレーションエンジン。
• 人気のあるデータツールとの広範な統合ライブラリ。
• テスト可能性と CI/CD のベストプラクティスへの強い注力。