shaiwz/data-platform-open

解决的问题

它解决了大数据集成过程中的复杂性与耗时问题。无需高阶开发人员编写硬编码的同步、过滤与转换逻辑，用户即可通过零代码的可视化拖放界面建立数据流。

运作方式

该平台提供一个可视化画布，用户可通过拖放组件来定义数据同步、清理与过滤操作。它整合了 AI 功能，协助构建这些数据流并通过自然语言建立查询模板。后端支持多种数据源（MySQL, StarRocks, Doris, Oracle, Kafka, ElasticSearch），并可接收来自 FlinkCDC 与 Canal 的消息。此外，它还包含一个数据对齐系统，用于验证不同数据源之间的一致性并自动修复。

适用对象

专为需要管理大数据管线但不想编写大量代码的初级开发人员或运维人员设计，也适合希望减少数据集成任务耗时的组织。

特色亮点

• 零代码可视化界面：通过拖放画布建立复杂的数据流与报表生成。
• AI 驱动辅助：使用自然语言构建数据流与查询模板，并提供详细的 AI 推理日志与 Token 追踪。
• 智能数据查询：具备“AI 智能查询”功能，可根据数据提供答案。
• 数据对齐：自动化检查不同数据源与数据表类型之间的一致性并进行修复。
• 高性能：支持流处理与批处理的高吞吐量。
• 动态扩展：服务实例支持动态扩充与缩减以应对负载。