datavane/tis

What it solves

TIS는 데이터 엔지니어링의 복잡한 프로세스를 단순화하기 위해 설계된 AI 네이티브 데이터 통합 플랫폼입니다. 사용자가 자연어를 사용하여 데이터 파이프라인을 생성하고 데이터 분석을 수행할 수 있게 함으로써, 수동적이고 복잡한 설정 및 SQL 작성을 필요로 하지 않습니다.

How it works

TIS는 검증된 배치 및 스트림 처리 엔진(DataX 및 Flink-CDC 사용)과 현대적인 AI 레이어를 결합합니다:

• Pipeline AI Agent: LLM을 사용하여 자연어 비즈니스 요구사항을 자동화된 플러그인 선택, 파라미터 생성 및 작업 오케스트레이션으로 변환합니다.
• ChatBI: 온톨로지 레이어(비즈니스 엔티티 및 시맨틱 정의)와 GraphRAG(Neo4j를 통해)를 결합하여 자연어 질문으로부터 관련 데이터를 검색하고 SQL 쿼리를 생성합니다.
• DataOps Approach: 실행 흐름을 모델링하여 "fool-proof" 운영 경험을 제공하며, Docker와 Kubernetes와 같은 다양한 배포 모드를 지원합니다.

Who it’s for

파이프라인 생성을 자동화하려는 데이터 엔지니어와 SQL을 모르는 상태에서 데이터 인사이트를 얻어야 하는 비즈니스 사용자를 위해 구축되었습니다.

Highlights

• Natural Language Pipelines: 비즈니스 요구사항을 간단히 설명하는 것만으로 데이터 파이프라인을 생성합니다.
• GraphRAG-powered ChatBI: 지식 그래프를 사용하여 비즈니스 쿼리에 대한 정확한 시맨틱 이해 및 데이터 검색을 보장합니다.
• Multi-LLM Support: DeepSeek, Tongyi Qianwen, GPT-4를 포함한 다양한 모델과 통합됩니다.
• Unified Engine: 배치 및 실시간 데이터 동기화(예: MySQL to StarRocks or Doris)를 모두 지원합니다.
• Extensible Architecture: 플러그인 기반 시스템과 마이크로 프론트엔드 프레임워크를 통해 쉽게 커스터마이징할 수 있습니다.