lance-format/lance

Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, and PyTorch with more integrations coming..

What it solves

Lanceは、マルチモーダルAI向けに特別に設計された、高性能なオープン・レイクハウス・フォーマットを提供します。従来のSQL中心のレイクハウス・フォーマット（ParquetやIcebergなど）が、ベクトル検索、MLトレーニングのための高速なランダムアクセス、および画像や動画のようなマルチモーダル・データの効率的な保存に苦戦しているという課題を解決します。

How it works

Lanceは、オブジェクト・ストレージ上に構築可能なファイル形式、テーブル形式、およびカタログ仕様を実装しています。これにより、埋め込み（embeddings）、テキスト、および生のマルチモーダル・ブロブ（画像、音声、動画）を単一の統合された形式で保存することが可能になります。また、ベクトル類似性検索、全文検索（BM25）、およびSQL分析を組み合わせたハイブリッド検索をサポートし、データ管理のためのACIDトランザクションを備えたゼロコピー・バージョニングを提供します。

Who it’s for

高性能なIOとマルチモーダル・データセットへの効率的なランダムアクセスを必要とする、検索エンジン、フィーチャー・ストア、または大規模なMLトレーニング・パイプラインを構築する必要があるAI/MLエンジニア向けに設計されています。

Highlights

  • Hybrid Search: 単一のデータセット上で、ベクトル、全文、およびSQL検索を組み合わせることができます。
  • High-Speed Random Access: ParquetやIcebergよりも最大100倍高速なランダムアクセスを実現します。
  • Multimodal Support: 画像、動画、および音声のネイティブな保存と、遅延読み込み（lazy loading）をサポートします。
  • Data Evolution: テーブル全体を書き換えることなく、フィーチャー・エンジニアリングのために列を追加できます。
  • Zero-Copy Versioning: ACIDトランザクション、タイムトラベル、およびブランチ作成が組み込まれています。
  • Broad Ecosystem: Apache Arrow, Pandas, Polars, DuckDB, Ray, and Sparkと統合できます。

関連

  • プロジェクト
    lancedb/lancedb

    Lance columnar formatに基づき、ペタバイト規模のベクトルおよびマルチモーダルデータに対する高速でスケーラブルな検索を実現する、マルチモーダルAIレイクハウスおよびベクトルデータベース。

  • プロジェクト
    activeloopai/deeplake

    Deep Lake は AI 用のサーバーレスデータベースで、 大規模な非構造化データとベクトルを保存・ストリーミングし、 ディープラーニングのトレーニングや LLM アプリケーションのワークフローを最適化します。

  • プロジェクト
    ModernRelay/omnigraph

    Omnigraphは、任意のS3互換オブジェクトストレージ上に列指向のLance形式でデータを格納するRustベースのレイクハウス型グラフデータベースです。AIエージェントのフリート向けに設計されており、各エージェントは自身の分離されたブランチに書き込み、レビューとGit風のマージを経て変更を反映できます。クエリはグラフ走査、ベクトルANN、全文検索を1つのランタイムで統合し、Cedarポリシーで各変更に対して細粒度のセキュリティを強制します。CLI、Axum HTTPサーバー、TypeScript SDK、LLMホスト用の「MCP」ブリッジを提供し、エージェント記憶、企業脳知識グラフ、開発グラフ自動化、バージョン管理されたMLデータレイヤーのフルスタックソリューションです。

  • プロジェクト
    laminlabs/lamindb

    LaminDB is an open‑source, Git‑like data‑management system for AI/ML, especially multimodal life‑science data. It version‑controls files, tables, and array formats, tracks code and environment provenance, supports branching/merging, and offers ACID‑safe metadata stored in SQLite/Postgres. Integrated with Python/R tools (Polars, DuckDB), bio‑ontologies, and workflow managers, it enables traceable, FAIR‑compliant datasets for research and biotech.

  • プロジェクト
    lakesoul-io/LakeSoul

    LakeSoulは、RustネイティブのメタデータとI/Oコアを持つオープンソースのレイクハウスフレームワークであり、ACIDトランザクション、インクリメンタルなupsert、自動コンパクション、きめ細かなRBACを提供し、Spark、Flink、Presto、Ray、Daft、Pythonベースのツールをサポートします。Vortexフォーマットを介して通常の行とマルチモーダル/ベクトルデータを保存でき、リアルタイムのCDCインジェクション、スナップショットクエリ、AI/MLパイプラインとのシームレスな統合を実現します。