qiantongtech/qData

解決的問題

qData 是一個為簡化企業資料治理與開發而設計的開源資料中間平台。它解決了在多個資料庫（如 MySQL、Oracle 和 DM8）之間分散的資料管理難題，提供一個集中式的 ETL、資料建模與資產管理系統。

工作原理

該平台採用前後端分離架構（Vue 3 和 Spring Boot），並整合多個執行引擎與排程器，以處理不同的工作負載：

• 資料整合： 使用 DataX 進行輕量級同步，使用 Spark 進行大規模離線處理。
• 排程： 使用 Quartz 處理簡單週期性任務，使用 DolphinScheduler 處理複雜視覺化任務編排。
• AI 整合： 整合 Text2SQL 與自然語言處理，讓業務使用者能以自然語言查詢資料。
• 治理： 提供元資料採集、資料品質審計與資產目錄化模組。

適用對象

• 資料開發團隊： 用於建構 ETL 工作流程與基於 SQL 的資料處理任務。
• 資料治理團隊： 用於管理資料標準、元資料與品質檢核。
• 業務分析團隊： 透過 AI 驅動的自然語言介面查詢與分析資料。
• 開發者/ISV： 作為建構自訂資料服務平台的基礎。

核心亮點

• 視覺化 ETL： 支援拖曳配置資料存取、清洗與轉換。
• AI 驅動的資料問答： 將自然語言資料問題轉換為 SQL（Text2SQL），並提供智慧圖表分析。
• 多引擎支援： 執行可選 DataX/Spark，排程可選 Quartz/DolphinScheduler，彈性配置。
• 全面的治理能力： 集成資料建模、元資料管理、資料品質審計工具。
• API 資料服務： 可將 SQL 查詢結果封裝為 API 服務，便於系統整合。