lance-format/lance

해결하는 문제

Lance는 기존 데이터 레이크하우스 포맷과 현대 AI/ML 워크플로우의 특정 요구 사항 사이의 간극을 메우기 위해 설계되었습니다. Parquet나 Iceberg와 같은 포맷은 SQL 분석에는 뛰어나지만, 학습을 위한 빠른 랜덤 액세스, 멀티모달 데이터 처리, 통합 벡터 검색과 같은 AI의 고성능 요구 사항을 충족하는 데 어려움을 겪는 경우가 많습니다. Lance는 별도의 전문 인프라 없이 이러한 작업을 처리하는 통합 포맷을 제공합니다.

작동 방식

Lance는 파일 포맷, 테이블 포맷, 카탈로그 사양을 포함하는 오픈 레이크하우스 포맷으로 작동합니다. 객체 스토리지(S3, GCS, Azure 등)나 로컬 디스크에서 직접 실행됩니다. 효율적인 blob 인코딩과 지연 로딩(lazy loading)을 사용하여 이미지, 비디오, 오디오, 텍스트와 같은 멀티모달 데이터와 임베딩을 관리합니다. ACID 트랜잭션과 제로 카피 버전 관리를 지원하여 추가 관리 시스템 없이도 데이터에 대한 타임 트래블 및 브랜칭을 수행할 수 있습니다.

대상 사용자

Lance는 대규모 멀티모달 데이터셋을 관리해야 하는 데이터 과학자, ML 엔지니어, 개발자를 위해 구축되었습니다. 벡터 유사도 검색, 전체 텍스트 검색, SQL 분석을 단일 고성능 생태계 내에서 결합하려는 검색 엔진, 피처 스토어 또는 학습 파이프라인 구축자에게 특히 유용합니다.

주요 특징

• 표현력 있는 하이브리드 검색: 벡터 유사도, 전체 텍스트(BM25), SQL 분석을 가속화된 보조 인덱스와 결합합니다.
• 초고속 랜덤 액세스: 랜덤 액세스 작업에서 Parquet나 Iceberg보다 최대 100배 빠른 성능을 제공합니다.
• 네이티브 멀티모달 지원: 이미지, 오디오, 비디오, 임베딩을 통합 포맷으로 효율적으로 저장하고 관리합니다.
• 데이터 진화: 전체 테이블을 다시 작성할 필요 없이 열을 추가하고 값을 백필할 수 있습니다.
• 풍부한 생태계 통합: Pandas, DuckDB, Polars, Apache Arrow, Spark, Ray와 같은 인기 도구와 기본적으로 연동됩니다.