shaiwz/data-platform-open

解決的問題

本專案提供一個零程式碼、視覺化拖曳式的大數據整合平台。它消除了在不同資料來源之間同步、清洗與過濾資料時手動撰寫程式碼的需求，將建立資料管道所需時間從數天大幅縮短至數分鐘。

運作方式

平台使用視覺化畫布，使用者可透過拖曳元件來建構資料流程。整合AI功能，透過自然語言提示協助建構資料流程並建立查詢範本。系統透過外掛架構支援廣泛的資料來源（例如 MySQL、StarRocks、Doris、Oracle、Kafka、ElasticSearch），並包含資料對齊功能，可驗證不同資料來源之間的一致性，並自動修復差異。

適用對象

適合需要管理複雜大數據管道但無需撰寫大量程式碼的初階開發人員或運維人員，以及希望優化資料同步與清洗工作流程的組織。

主要特色

• AI驅動建構：使用自然語言建構資料流程與查詢範本，可逐步修改或刪除流程中的特定部分，以節省令牌消耗。
• 零程式碼視覺化畫布：提供拖曳式介面，用於資料同步、清洗與過濾。
• 多來源支援：廣泛支援各類資料庫與訊息佇列，並為每種資料來源提供專用控制台。
• 資料一致性工具：內建工具，可針對任意資料來源進行一致性檢查、警示與自動修復。
• 可擴展架構：支援伺服器資源的動態擴展與自動容錯。