dagster-io/dagster

解决的问题

Dagster 是一个为简化机器学习模型、表格和报告等数据资产的开发与维护而设计的云原生数据管道编排器。它通过提供集成的血缘追踪和可观测性，解决了从本地开发和测试到生产部署的整个数据开发生命周期的管理复杂性。

工作原理

用户将希望创建的数据资产定义为 Python 函数。Dagster 会在最佳时机自动执行这些函数，以保持资产的最新状态。它使用声明式编程模型来追踪依赖关系，并构建资产图，该图可通过 Web UI 进行可视化和管理。

适用人群

适用于需要构建稳健、可扩展的数据管道，并在本地、预发和生产等不同环境中对复杂数据资产保持控制的数据从业者和工程师。

主要亮点

• 提供集中化的元数据和诊断信息的集成血缘追踪与可观测性。
• 使用 Python 函数以声明式方式定义数据资产。
• 强大的多租户编排引擎，可在技术和组织层面实现扩展。
• 与主流数据工具的广泛集成库。
• 对可测试性和 CI/CD 最佳实践的高度重视。