qiantongtech/qData

해결하는 문제

qData는 기업의 데이터 거버넌스와 개발을 간소화하기 위해 설계된 오픈소스 데이터 미들웨어 플랫폼입니다. MySQL, Oracle, DM8 등의 여러 데이터베이스에 흩어져 있는 데이터를 관리하는 어려움을 해결하기 위해 ETL, 데이터 모델링, 자산 관리를 위한 중앙 집중식 시스템을 제공합니다.

작동 방식

이 플랫폼은 Vue 3와 Spring Boot를 사용한 프론트엔드-백엔드 분리 아키텍처를 채택하고, 다양한 워크로드를 처리하기 위해 여러 실행 엔진과 스케줄러를 통합합니다.

• 데이터 통합: 가벼운 동기화에는 DataX를, 대규모 오프라인 처리에는 Spark를 사용.
• 스케줄링: 간단한 주기적 작업에는 Quartz를, 복잡한 시각적 작업 오케스트레이션에는 DolphinScheduler를 사용.
• AI 통합: Text2SQL과 자연어 처리를 통합하여 비전문가도 자연어로 데이터를 질의할 수 있도록 지원.
• 거버넌스: 메타데이터 수집, 데이터 품질 감사, 자산 카탈로그화를 위한 모듈 제공.

대상 사용자

• 데이터 개발 팀: ETL 워크플로우 및 SQL 기반 데이터 처리 작업 구축에 사용.
• 데이터 거버넌스 팀: 데이터 표준, 메타데이터, 품질 검사 관리에 사용.
• 비즈니스 분석 팀: AI 기반 자연어 인터페이스를 통해 데이터 질의 및 분석 수행.
• 개발자/ISV: 맞춤형 데이터 서비스 플랫폼 구축 기반으로 활용.

주요 특징

• 시각적 ETL: 데이터 접근, 정제, 변환을 드래그 앤 드롭으로 구성 가능.
• AI 기반 데이터 Q&A: 자연어 질문을 SQL로 변환(Text2SQL)하고 지능형 차트 분석 제공.
• 다중 엔진 지원: 실행에는 DataX/Spark, 스케줄링에는 Quartz/DolphinScheduler 중 유연하게 선택 가능.
• 포괄적인 거버넌스: 데이터 모델링, 메타데이터 관리, 데이터 품질 감사용 통합 도구 제공.
• API 데이터 서비스: SQL 쿼리 결과를 API 서비스로 캡슐화하여 시스템 통합 가능.