shaiwz/data-platform-open

해결하는 문제

이 프로젝트는 코드 없이 시각적으로 드래그 앤 드롭할 수 있는 대규모 데이터 통합 플랫폼을 제공합니다. 다양한 데이터 소스 간의 데이터 동기화, 정제, 필터링에 수동 코드 작성 없이 진행할 수 있어, 데이터 파이프라인을 설정하는 데 소요되는 시간을 수일에서 수분으로 획기적으로 단축합니다.

작동 방식

사용자는 시각적 캔버스에서 컴포넌트를 드래그 앤 드롭하여 데이터 흐름을 구축할 수 있습니다. 자연어 프롬프트를 통해 데이터 흐름을 구성하고 쿼리 템플릿을 생성하는 데 AI 기능을 통합했습니다. 플러그인 아키텍처를 통해 MySQL, StarRocks, Doris, Oracle, Kafka, ElasticSearch 등 다양한 데이터 소스를 지원하며, 서로 다른 데이터 소스 간의 일관성을 검증하고 불일치를 자동으로 복구하는 데이터 정렬 기능도 포함되어 있습니다.

대상 사용자

많은 코드를 작성하지 않고도 복잡한 대규모 데이터 파이프라인을 관리해야 하는 초보 개발자나 운영 담당자, 또는 데이터 동기화 및 정제 워크플로우를 최적화하고자 하는 조직에 적합합니다.

주요 특징

• AI 기반 구축: 자연어로 데이터 흐름과 쿼리 템플릿을 생성할 수 있으며, 흐름의 특정 부분을 단계적으로 수정하거나 삭제하여 토큰을 절약할 수 있습니다.
• 코드 없이 시각적 캔버스: 데이터 동기화, 정제, 필터링을 위한 드래그 앤 드롭 인터페이스.
• 다중 소스 지원: 데이터베이스 및 메시지 큐의 다양한 유형을 지원하며, 각각에 대한 전용 콘솔 제공.
• 데이터 일관성 도구: 임의의 데이터 소스 간 일관성 검사, 알림, 자동 복구를 위한 내장 도구.
• 확장 가능한 아키텍처: 서버 리소스에 대한 동적 확장과 자동 장애 복구를 지원.