shaiwz/data-platform-open

해결하는 문제

빅데이터 통합의 복잡성과 시간 소모적인 특성을 해결합니다. 고급 개발자가 하드코딩된 동기화, 필터링 및 변환 로직을 작성할 필요 없이, 사용자는 노코드 시각적 드래그 앤 드롭 인터페이스를 사용하여 데이터 흐름을 구축할 수 있습니다.

작동 방식

이 플랫폼은 사용자가 구성 요소를 드래그 앤 드롭하여 데이터 동기화, 정리 및 필터링 작업을 정의할 수 있는 시각적 캔버스를 제공합니다. AI 기능을 통합하여 이러한 데이터 흐름 구축을 지원하고 자연어를 통해 쿼리 템플릿을 생성할 수 있습니다. 백엔드는 다양한 데이터 소스(MySQL, StarRocks, Doris, Oracle, Kafka, ElasticSearch)를 지원하며 FlinkCDC 및 Canal에서 메시지를 수집할 수 있습니다. 또한 서로 다른 데이터 소스 간의 일관성을 확인하고 복구를 자동화하는 데이터 정렬 시스템도 포함되어 있습니다.

대상 사용자

방대한 코드를 작성하지 않고도 빅데이터 파이프라인을 관리해야 하는 주니어 개발자나 운영 담당자, 그리고 데이터 통합 작업에 소요되는 시간을 줄이려는 조직을 위해 설계되었습니다.

주요 특징

• 노코드 시각적 인터페이스: 드래그 앤 드롭 캔버스를 통해 복잡한 데이터 흐름 및 보고서 생성.
• AI 기반 지원: 자연어를 사용하여 데이터 흐름 및 쿼리 템플릿을 구성하며, 상세한 AI 추론 로그 및 토큰 추적 제공.
• 지능형 데이터 쿼리: 데이터를 기반으로 답변을 제공하는 "AI 스마트 쿼리" 기능.
• 데이터 정렬: 서로 다른 데이터 소스 및 테이블 유형 간의 일관성 검사 및 자동 복구.
• 고성능: 스트림 처리와 배치 처리 모두에서 높은 처리량 지원.
• 동적 확장: 서비스 인스턴스는 부하를 처리하기 위해 동적인 확장 및 축소를 지원합니다.