qiantongtech/qData

解决的问题

qData 是一个为简化企业数据治理和开发而设计的开源数据中间平台。它解决了在多个数据库（如 MySQL、Oracle 和 DM8）之间分散的数据管理难题，提供了一个集中式的 ETL、数据建模和资产管理系统。

工作原理

该平台采用前后端分离架构（Vue 3 和 Spring Boot），并集成了多个执行引擎和调度器，以处理不同的工作负载：

• 数据集成： 使用 DataX 进行轻量级同步，使用 Spark 进行大规模离线处理。
• 调度： 使用 Quartz 处理简单周期性任务，使用 DolphinScheduler 处理复杂可视化任务编排。
• AI 集成： 集成 Text2SQL 和自然语言处理，使业务用户能够使用自然语言查询数据。
• 治理： 提供元数据采集、数据质量审计和资产目录化模块。

适用人群

• 数据开发团队： 用于构建 ETL 工作流和基于 SQL 的数据处理任务。
• 数据治理团队： 用于管理数据标准、元数据和质量检查。
• 业务分析团队： 通过 AI 驱动的自然语言接口查询和分析数据。
• 开发者/ISV： 作为构建自定义数据服务平台的基础。

核心亮点

• 可视化 ETL： 支持拖拽配置数据访问、清洗和转换。
• AI 驱动的数据问答： 将自然语言数据问题转换为 SQL（Text2SQL），并提供智能图表分析。
• 多引擎支持： 执行可选 DataX/Spark，调度可选 Quartz/DolphinScheduler，灵活配置。
• 全面的治理能力： 集成数据建模、元数据管理、数据质量审计工具。
• API 数据服务： 可将 SQL 查询结果封装为 API 服务，便于系统集成。