datavane/tis

What it solves

TIS 是一个 AI 原生数据集成平台，旨在简化复杂的数据工程流程。它通过允许用户使用自然语言创建数据流水线并进行数据分析，消除了对手动、复杂配置和 SQL 编写的需求。

How it works

TIS 将经过生产验证的批处理和流处理引擎（使用 DataX 和 Flink-CDC）与现代 AI 层相结合：

• Pipeline AI Agent：使用 LLM 将自然语言业务需求转化为自动化的插件选择、参数生成和任务编排。
• ChatBI：结合使用本体层（定义业务实体和语义）和 GraphRAG（通过 Neo4j）从自然语言问题中检索相关数据并生成 SQL 查询。
• DataOps Approach：对执行流进行建模，以提供“防错”的操作体验，支持 Docker 和 Kubernetes 等各种部署模式。

Who it’s for

它是为希望自动化流水线创建的数据工程师以及需要无需了解 SQL 即可获取数据洞察的业务用户而构建的。

Highlights

• Natural Language Pipelines：只需描述业务需求即可创建数据流水线。
• GraphRAG-powered ChatBI：使用知识图谱确保业务查询的精确语义理解和数据检索。
• Multi-LLM Support：集成了包括 DeepSeek、Tongyi Qianwen 和 GPT-4 在内的多种模型。
• Unified Engine：支持批处理和实时数据同步（例如，MySQL 到 StarRocks 或 Doris）。
• Extensible Architecture：采用基于插件的系统和微前端框架，以便于自定义。