delta-io/delta-rs

해결하는 문제

Delta Lake는 데이터 레이크에 신뢰성과 성능을 추가하는 스토리지 형식입니다. ACID 트랜잭션 보장(데이터 무결성 확보), 스키마 강제(불량 데이터 방지), 대규모 데이터 세트의 확장 가능한 처리와 같은 필수 기능을 제공합니다. 이 프로젝트는 기존 Apache Spark 생태계 외부에서 네이티브하고 고성능인 구현을 제공하여 더 넓은 범위의 개발자가 Delta Lake를 사용할 수 있게 합니다.

작동 방식

이 프로젝트는 Delta Lake 테이블과 상호 작용하기 위한 핵심 엔진 역할을 하는 네이티브 Rust 라이브러리를 제공합니다. 사용자 정의 통합을 구축하는 개발자를 위한 저수준 API와 데이터 쿼리 및 검사를 위한 고수준 작업 API를 제공합니다. Rust로 작성되었기 때문에 고성능과 메모리 안전성을 제공하며, 데이터 과학자와 엔지니어가 기존 Python 데이터 워크플로 내에서 원활하게 사용할 수 있는 Python 바인딩을 포함합니다.

대상 사용자

Rust 또는 Python을 사용하여 Delta Lake 테이블과 상호 작용해야 하는 개발자 및 데이터 엔지니어를 위해 설계되었습니다. 전체 Apache Spark 설치에 의존하지 않고 안정적이고 확장 가능한 스토리지가 필요한 데이터 처리 도구, 프레임워크 또는 애플리케이션을 구축하는 사람들에게 특히 유용합니다.

주요 특징

• 고성능 및 안전성을 위한 네이티브 Rust 구현.
• 데이터 과학 및 분석 파이프라인에 쉽게 통합하기 위한 Python 바인딩.
• ACID 트랜잭션, 스키마 강제 및 확장 가능한 데이터 작업 지원.
• Polars, DuckDB, Dask 및 Ray를 포함한 광범위한 도구 생태계와 통합.
• 개발자를 위한 저수준 API와 일반 데이터 작업을 위한 고수준 작업을 모두 제공합니다.