lakesoul-io/LakeSoul

해결하는 문제

LakeSoul은 단순한 테이블 형식을 넘어선 프로덕션급 레이크하우스 플랫폼을 제공합니다. 별도의 카탈로그, 컴팩션 서비스, 인증 계층을 수동으로 구성할 필요 없이, ACID 트랜잭션, 고성능 OLAP 쿼리, 멀티모달 데이터에 대한 네이티브 지원을 포함한 대규모 데이터 관리를 위한 "올인원" 솔루션을 제공합니다.

작동 원리

LakeSoul은 메타데이터 관리와 파일 IO를 위해 Rust로 작성된 고성능 코어를 사용하며, Java, Python, C++에 대한 일관된 바인딩을 제공합니다. LSM-Tree와 유사한 구조를 사용하여 기본 키 테이블의 높은 쓰기 처리량을 처리하며, PostgreSQL을 사용하여 확장 가능한 메타데이터 관리와 ACID 제어를 수행합니다. 이 시스템은 Parquet 및 Vortex(멀티모달 데이터 및 벡터 임베딩용)를 포함한 다양한 물리적 파일 형식을 지원하며, Spark, Flink, Ray, Daft와 같은 다양한 컴퓨팅 엔진과 통합됩니다.

대상 사용자

스트리밍 및 배치 처리를 모두 지원하는 통합 데이터 인프라가 필요한 데이터 엔지니어와 AI 실무자, 그리고 PyTorch나 Ray를 사용하여 AI 모델을 학습시키며 레이크하우스 데이터에 대한 효율적인 액세스가 필요한 사용자를 위해 설계되었습니다.

주요 특징

• Rust 네이티브 코어: 단일 고성능 코어를 통해 지원되는 모든 언어와 엔진에서 일관된 ACID 보장과 읽기 성능을 제공합니다.
• 멀티모달 지원: Vortex 파일 형식과 Daft 통합을 통해 멀티모달 데이터와 벡터 임베딩을 네이티브로 처리합니다.
• 자동화된 유지 관리: 분산형 다단계 컴팩션, 테이블 수명 주기 관리, 중복 데이터 정리 기능이 내장되어 있습니다.
• 광범위한 엔진 호환성: Spark, Flink, Presto, Ray, Daft, DuckDB, PyArrow 등 다양한 컴퓨팅 프레임워크를 지원합니다.
• 엔터프라이즈 보안: S3 프록시 인증 계층을 통해 세밀한 RBAC 및 물리적 데이터 격리를 구현합니다.