qiantongtech/qData

解决的问题

qData 是一个企业数据中台，旨在简化数据治理与开发。它通过提供一套统一的系统来进行数据集成、质量控制和资产管理，解决了跨各种数据库（如 MySQL、Oracle 和 Doris）管理碎片化数据的挑战，同时降低了非技术业务用户使用自然语言查询数据的门槛。

运作方式

该平台采用模块化架构来处理完整的数据生命周期：

• 数据集成 (ETL)： 使用 DataX 或 Spark 通过可视化配置来摄取、清洗和转换数据。
• 数据开发： 允许用户创建 SQL 脚本进行处理和统计分析，并通过 Quartz 或 DolphinScheduler 进行调度。
• 治理与建模： 提供元数据管理、数据质量审计（完整性、唯一性、有效性）以及数据资产目录编制的工具。
• 数据服务： 将 SQL 结果封装为 API 服务，供外部使用。
• AI 层： 实现 Text2SQL 引擎，将自然语言问题转换为 SQL 查询，以生成智能图表和数据解答。

适用对象

它专为需要数据中台、ETL 平台或数据治理系统基础的企业，以及需要高效数据管道和 AI 驱动数据检索的数据工程师和业务分析师而设计。

亮点

• AI 驱动的数据问答： 使用 Text2SQL 的自然语言界面，让业务用户能轻松访问数据。
• 灵活的执行引擎： 同时支持轻量级 (DataX) 和大规模分布式 (Spark) 处理。
• 全面的治理： 集成元数据管理、数据质量检查和资产标记于一处。
• 广泛的数据库支持： 兼容 MySQL、DM8、Oracle、SQL Server、Kingbase8 和 Doris。