qiantongtech/qData

해결하는 문제

qData는 데이터 거버넌스 및 개발을 간소화하는 엔터프라이즈 데이터 중간 플랫폼입니다. 데이터 통합, 품질 관리 및 자산 관리를 위한 통합 시스템을 제공하여 다양한 데이터베이스(예: MySQL, Oracle 및 Doris)에 분산된 데이터를 관리하는 과제를 해결하며, 동시에 비기술적 비즈니스 사용자가 자연어를 사용하여 데이터를 쿼리할 수 있는 진입 장벽을 낮춥니다.

작동 방식

이 플랫폼은 모듈식 아키텍처를 사용하여 전체 데이터 수명 주기를 처리합니다:

• 데이터 통합 (ETL): DataX 또는 Spark를 사용하여 시각적 구성을 통해 데이터를 수집, 정제 및 변환합니다.
• 데이터 개발: 사용자가 처리 및 통계 분석을 위한 SQL 스크립트를 생성할 수 있도록 하며, Quartz 또는 DolphinScheduler를 통해 예약됩니다.
• 거버넌스 및 모델링: 메타데이터 관리, 데이터 품질 감사(완전성, 고유성, 유효성) 및 데이터 자산 카탈로그 구축을 위한 도구를 제공합니다.
• 데이터 서비스: SQL 결과를 API 서비스로 캡슐화하여 외부에서 사용할 수 있도록 합니다.
• AI 레이어: 자연어 질문을 SQL 쿼리로 변환하여 지능형 차트 및 데이터 답변을 생성하는 Text2SQL 엔진을 구현합니다.

대상 독자

데이터 중간 플랫폼, ETL 플랫폼 또는 데이터 거버넌스 시스템의 기반이 필요한 기업과 효율적인 데이터 파이프라인 및 AI 기반 데이터 검색이 필요한 데이터 엔지니어 및 비즈니스 분석가를 위해 설계되었습니다.

하이라이트

• AI 기반 데이터 Q&A: Text2SQL을 사용하는 자연어 인터페이스를 통해 비즈니스 사용자가 데이터에 쉽게 액세스할 수 있습니다.
• 유연한 실행 엔진: 경량(DataX) 및 대규모 분산(Spark) 처리를 모두 지원합니다.
• 포괄적인 거버넌스: 메타데이터 관리, 데이터 품질 검사 및 자산 태깅을 한 곳에서 통합합니다.
• 폭넓은 데이터베이스 지원: MySQL, DM8, Oracle, SQL Server, Kingbase8 및 Doris와 호환됩니다.