lance-format/lance

Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, and PyTorch with more integrations coming..

What it solves

Lanceは、マルチモーダルAI向けに特別に設計された、高性能なオープン・レイクハウス・フォーマットを提供します。従来のSQL中心のレイクハウス・フォーマット（ParquetやIcebergなど）が、ベクトル検索、MLトレーニングのための高速なランダムアクセス、および画像や動画のようなマルチモーダル・データの効率的な保存に苦戦しているという課題を解決します。

How it works

Lanceは、オブジェクト・ストレージ上に構築可能なファイル形式、テーブル形式、およびカタログ仕様を実装しています。これにより、埋め込み（embeddings）、テキスト、および生のマルチモーダル・ブロブ（画像、音声、動画）を単一の統合された形式で保存することが可能になります。また、ベクトル類似性検索、全文検索（BM25）、およびSQL分析を組み合わせたハイブリッド検索をサポートし、データ管理のためのACIDトランザクションを備えたゼロコピー・バージョニングを提供します。

Who it’s for

高性能なIOとマルチモーダル・データセットへの効率的なランダムアクセスを必要とする、検索エンジン、フィーチャー・ストア、または大規模なMLトレーニング・パイプラインを構築する必要があるAI/MLエンジニア向けに設計されています。

Highlights

  • Hybrid Search: 単一のデータセット上で、ベクトル、全文、およびSQL検索を組み合わせることができます。
  • High-Speed Random Access: ParquetやIcebergよりも最大100倍高速なランダムアクセスを実現します。
  • Multimodal Support: 画像、動画、および音声のネイティブな保存と、遅延読み込み（lazy loading）をサポートします。
  • Data Evolution: テーブル全体を書き換えることなく、フィーチャー・エンジニアリングのために列を追加できます。
  • Zero-Copy Versioning: ACIDトランザクション、タイムトラベル、およびブランチ作成が組み込まれています。
  • Broad Ecosystem: Apache Arrow, Pandas, Polars, DuckDB, Ray, and Sparkと統合できます。