datavane/tis

解决的问题

TIS 通过利用 AI 自动化创建和管理数据流水线，解决了传统数据工程的复杂性。它消除了手动配置和编写复杂 SQL 的需求，使用户能够使用自然语言构建数据工作流并进行数据分析。

工作原理

TIS 将大语言模型（LLM）直接集成到数据生命周期中。它使用 Pipeline AI Agent 来解释自然语言请求，从而自动选择插件、配置参数并编排任务。在数据分析方面，它采用 ChatBI 模块，利用本体层和基于 Neo4j 的知识图谱来理解业务术语。然后，它使用 GraphRAG（检索增强生成）来检索相关数据实体并生成见解，而无需用户编写 SQL。在底层，它仍然由 DataX 和 Flink-CDC 等成熟的数据引擎提供支持。

适用人群

TIS 专为希望简化流水线编排的数据工程师，以及需要进行数据分析并获取见解但缺乏 SQL 技术背景的业务用户而设计。

亮点

• 自然语言流水线：只需用简单的语言描述需求即可创建数据流水线。
• ChatBI：用自然语言询问有关数据的问题，并获得由 GraphRAG 和您的业务知识图谱驱动的答案。
• 知识资产管理：使用本体层和 Neo4j 来存储和演进业务定义、指标和实体关系。
• 成熟的基础设施：构建在 DataX 和 Flink-CDC 等可靠的批处理和流处理引擎之上。
• 可扩展架构：具有受 Jenkins 启发的插件系统，易于扩展和定制开发。