slothflowlabs/duckle

해결하는 문제

Duckle은 비용이 많이 들거나 벤더에 종속되거나 행 단위로 요금이 부과되는 기존 데이터 파이프라인 도구를 대체하기 위해 설계된 오픈소스 ETL(추출, 변환, 로드) 플랫폼입니다. 팀은 시각적 방식이나 코드를 통해 데이터 파이프라인을 구축하고, 로컬 머신, 개인 서버, 클라우드 인스턴스 등 자체 인프라에서 완전히 실행할 수 있으며, 숨겨진 비용이나 벤더 종속성이 없습니다.

작동 방식

Duckle은 컴포넌트(소스, 변환, 싱크)를 드래그 앤 드롭하여 데이터 흐름을 구축하는 시각적 캔버스를 제공합니다. 이 시각적 그래프는 DuckDB 엔진에서 실행되는 효율적인 벡터화 SQL로 컴파일됩니다. 데스크톱 앱, Python 또는 SQL을 사용하여 파이프라인을 작성한 다음, 동일한 파이프라인 파일을 헤드리스 러너에 배포하여 예약 실행할 수 있습니다. 데이터를 외부 서버로 전송하지 않고도 자연어 프롬프트에서 파이프라인 구성을 생성할 수 있는 선택적 로컬 AI 어시스턴트가 포함되어 있습니다.

대상 사용자

고성능의 로컬 우선 데이터 처리가 필요하며 인프라, 감사 추적, 데이터 보안을 완전히 제어하고자 하는 데이터 엔지니어와 팀을 위해 구축되었습니다. 특히 관리형 ETL 서비스의 반복적인 비용을 피하려는 사용자에게 매우 유용합니다.

주요 특징

• 네이티브 성능: DuckDB 컬럼형 엔진을 활용하여 고속의 벡터화된 데이터 처리를 수행합니다.
• 로컬 AI 어시스턴트: 프로세스 내 AI 어시스턴트 (Duckie)가 포함되어 있어 API 키나 외부 데이터 전송 없이 자연어 프롬프트로 파이프라인을 생성합니다.
• Git 친화적: 파이프라인, 연결, 구성이 일반 파일로 저장되므로 버전 관리, 브랜치 생성, 감사가 용이합니다.
• 광범위한 연결성: 데이터베이스, SaaS API, 객체 스토리지, 벡터 스토어 등 400개 이상의 컴포넌트를 기본적으로 지원합니다.
• 유연한 배포: 구축을 위한 시각적 데스크톱 스튜디오와 CI/CD, cron 작업, 컨테이너 환경을 위한 경량 헤드리스 러너를 모두 제공합니다.