dlt-hub/dlt

해결하는 문제

dlt는 다양한 소스에서 구조화된 타입의 데이터셋으로 데이터를 이동하는 지루하고 반복적인 작업을 자동화합니다. 스키마 추론, 중첩 데이터 처리, 자격 증명 관리, 다양한 데이터베이스 방언에 대한 적응과 같은 데이터 엔지니어링의 "배관"을 처리하므로 파이프라인마다 사용자 지정 코드를 작성할 필요가 없습니다.

작동 방식

dlt는 기존 코드에 직접 설치하는 Python 라이브러리입니다. 간단한 Python 데코레이터와 함수를 사용하여 데이터 소스(REST API, SQL 데이터베이스, 로컬 파일 등)를 정의합니다. 그런 다음 해당 소스를 대상(DuckDB, BigQuery, S3 등)으로 지정합니다. dlt는 데이터를 자동으로 추출하고 일관된 스키마로 정규화하며 백그라운드에서 스키마 드리프트와 타입 매핑을 처리하면서 로드합니다.

대상 사용자

dlt는 가볍고 코드 우선 방식으로 데이터 파이프라인을 구축하려는 개발자, 데이터 엔지니어, AI 에이전트를 위해 설계되었습니다. 플랫폼이 아닌 라이브러리이므로 기존 워크플로우를 유지하고 "블랙박스" 시스템을 피하려는 사람들에게 이상적입니다.

주요 특징

• 선언형 API: Python 데코레이터를 사용하여 증분 업데이트 및 병합 전략을 포함한 데이터 로드 방식을 정의합니다.
• 광범위한 호환성: 20개 이상의 대상과 REST API, SQL 데이터베이스, 클라우드 스토리지를 포함한 수천 개의 데이터 소스에서 작동합니다.
• LLM 지원: 프롬프트에서 작동하는 파이프라인을 생성하도록 AI 코딩 에이전트가 사용할 수 있도록 처음부터 구축되었습니다.
• 스키마 관리: 스키마를 자동으로 추론하고 중첩 데이터를 처리하며 데이터 품질을 보호하기 위해 구성 가능한 "계약"으로 스키마 드리프트를 관리합니다.
• 유연한 액세스: 로드된 데이터를 Pandas, Polars 또는 Arrow로 쉽게 다시 읽거나 Ibis를 사용하여 SQL로 컴파일되는 Python 변환을 수행할 수 있습니다.