datavane/tis

해결하는 문제

TIS는 AI를 활용하여 데이터 파이프라인의 생성 및 관리를 자동화함으로써 기존 데이터 엔지니어링의 복잡성을 해결합니다. 수동 구성이나 복잡한 SQL 작성의 필요성을 제거하여 사용자가 자연어를 사용하여 데이터 워크플로우를 구축하고 데이터 분석을 수행할 수 있도록 합니다.

작동 방식

TIS는 대규모 언어 모델(LLM)을 데이터 수명 주기에 직접 통합합니다. Pipeline AI Agent를 사용하여 자연어 요청을 해석하고 자동으로 플러그인을 선택하며, 매개변수를 구성하고 작업을 오케스트레이션합니다. 데이터 분석을 위해 온톨로지 계층과 Neo4j 기반 지식 그래프를 활용하여 비즈니스 용어를 이해하는 ChatBI 모듈을 사용합니다. 그런 다음 GraphRAG(검색 증강 생성)를 사용하여 관련 데이터 엔티티를 검색하고 사용자가 SQL을 작성할 필요 없이 인사이트를 생성합니다. 내부적으로는 DataX 및 Flink-CDC와 같이 검증된 데이터 엔진을 기반으로 작동합니다.

대상 사용자

TIS는 파이프라인 오케스트레이션을 간소화하려는 데이터 엔지니어와 SQL 기술 전문 지식 없이 데이터 분석을 수행하고 인사이트를 얻어야 하는 비즈니스 사용자를 위해 설계되었습니다.

주요 특징

• 자연어 파이프라인: 요구 사항을 평이한 언어로 설명하기만 하면 데이터 파이프라인을 생성할 수 있습니다.
• ChatBI: 데이터에 대해 자연어로 질문하고 GraphRAG 및 비즈니스 지식 그래프를 통해 답변을 얻을 수 있습니다.
• 지식 자산 관리: 온톨로지 계층과 Neo4j를 사용하여 비즈니스 정의, 지표 및 엔티티 관계를 저장하고 발전시킵니다.
• 검증된 인프라: DataX 및 Flink-CDC와 같은 신뢰할 수 있는 배치 및 스트림 처리 엔진을 기반으로 구축되었습니다.
• 확장 가능한 아키텍처: Jenkins에서 영감을 받은 플러그인 기반 시스템을 갖추고 있어 쉽게 확장하고 맞춤 개발할 수 있습니다.