slothflowlabs/duckle

해결하는 문제

Duckle은 오픈소스 ETL(추출, 변환, 적재) 플랫폼으로, Fivetran이나 Airbyte와 같은 호스팅 제공업체에 행 단위 요금을 지불하지 않고도 자체 인프라에서 데이터 파이프라인을 구축할 수 있게 해줍니다. 이는 파이프라인이 벤더 클라우드에 고정되어 감사가 어렵고, 작성자에 의존하는 문제를 해결합니다. 모든 파이프라인은 Git에 있는 일반 파일이므로 검토, 롤백이 가능하며 작성자가 퇴사하더라도 지속될 수 있습니다.

작동 방식

로컬 머신에서 시각적 캔버스, Python, 또는 SQL을 사용해 파이프라인을 작성합니다. Duckle은 그래프를 SQL로 컴파일하고 DuckDB 컬럼 엔진을 통해 실행하며, 머신의 모든 코어를 활용합니다. 동일한 파이프라인 파일은 duckle-runner serve로 서버에 헤드리스로 배포하거나, Docker, CI, 또는 독립 실행형 실행 파일로도 실행할 수 있습니다. 서버 콘솔은 스케줄링(cron), 역할, 감사 로그, 알림 기능을 제공합니다. 시크릿은 파이프라인 파일에 저장되지 않고, 실행 시 환경 변수나 암호화된 워크스페이스 저장소에서 해결됩니다. 수평 확장이 가능합니다: 더 많은 코어, 더 많은 RAM, 더 많은 동시 실행, 또는 duckle-runner work를 통해 더 많은 워커 머신을 추가할 수 있습니다. 매우 큰 데이터의 경우, 푸시다운 기능으로 쿼리가 Postgres, Oracle, SQL Server, 또는 Snowflake 내부에서 그대로 실행되며 Duckle은 오케스트레이션을 담당합니다. 또한, 옵션으로 로컬 AI 어시스턴트(Duckie)가 제공되며, 영어 설명만으로 파이프라인 JSON을 생성하고 캔버스에 삽입합니다. API 키나 텔레메트리 없이 로컬에서 실행됩니다.

대상 사용자

자사 서버, Docker, 또는 클라우드 VM에서 파이프라인을 실행하고 싶은 데이터 엔지니어 및 팀. 호스팅된 행 단위 요금제 ETL 도구의 무료, 감사 가능한, 자가 완결형 대안을 원하는 사용자. 또한 Talend과 같은 레거시 시각적 ETL 도구에서 마이그레이션하는 팀에게도 유용합니다. Duckle은 이러한 작업을 가져올 수 있습니다.

주요 특징

• 설치 시 즉시 사용 가능한 366개의 컴포넌트 — 파일, SQL 데이터베이스, 웨어하우스, NoSQL, 벡터 DB, 스트리밍 브로커, SaaS API, FTP, IMAP 등을 커버하는 소스, 변환, 싱크, 데이터 품질 검사, 제어 흐름 노드.
• 자기 포함형 약 65MB 바이너리 — 워크스페이스는 사용자가 선택한 폴더 내의 일반 파일이며, 엔진은 첫 실행 시 설치됩니다.
• 로컬 AI 어시스턴트(Duckie) — 파이프라인을 영어로 설명하면 JSON을 생성하고 캔버스에 삽입합니다. API 키나 텔레메트리 없이 로컬에서 실행됩니다.
• 측정 가능한 성능 — 실시간 Postgres에서 9600만 행을 Parquet로 39.9초 내에 전송; Oracle 추출은 65.0초. 동일한 머신에서 python-oracledb + pyarrow를 사용한 경우보다 빠릅니다.
• 배포 유연성 — 서버에서 헤드리스로 실행, Docker에서 실행, CI에서 실행, 또는 독립 실행형 실행 파일로 실행 가능. 콘솔에는 역할, 감사 로그, 알림 기능이 있습니다.
• 푸시다운 — 어떤 머신에도 수용되지 않는 큰 데이터의 경우, 쿼리는 Postgres, Oracle, SQL Server, Snowflake 내부에서 그대로 실행되며 Duckle은 오케스트레이션을 담당합니다.
• Talend 작업 가져오기 — 레거시 시각적 ETL 작업을 Duckle 파이프라인으로 변환하며, 여전히 사람이 처리해야 할 부분에 대한 보고서를 제공합니다.
• CI 준비 완료 — duckle-runner validate는 소스를 열거나 자격 증명이 필요 없이 파이프라인을 SQL로 컴파일하며, 모든 푸시에 게이트를 설정할 수 있습니다.