lance-format/lance

解決する課題

Lanceは、従来のデータレイクハウスフォーマットと現代のAI/MLワークフローの特定のニーズとの間のギャップを埋めるように設計されています。ParquetやIcebergのようなフォーマットはSQL分析には優れていますが、トレーニングのための高速なランダムアクセス、マルチモーダルデータの処理、統合されたベクトル検索といったAIの高性能な要件には苦戦することがよくあります。Lanceは、個別の専門的なインフラストラクチャを必要とせずにこれらのタスクを処理する統合フォーマットを提供します。

仕組み

Lanceは、ファイルフォーマット、テーブルフォーマット、カタログ仕様を含むオープンなレイクハウスフォーマットとして機能します。オブジェクトストレージ（S3、GCS、Azureなど）やローカルディスク上で直接動作します。効率的なblobエンコーディングと遅延読み込みを使用して、画像、ビデオ、オーディオ、テキストなどのマルチモーダルデータと埋め込みベクトルを管理します。ACIDトランザクションとゼロコピーバージョニングをサポートしており、追加の管理システムを必要とせずにデータに対してタイムトラベルやブランチングを実行できます。

対象ユーザー

Lanceは、大規模なマルチモーダルデータセットを管理する必要があるデータサイエンティスト、MLエンジニア、開発者向けに構築されています。ベクトル類似性検索、全文検索、SQL分析を単一の高性能なエコシステム内で組み合わせたいと考えている検索エンジン、特徴量ストア、またはトレーニングパイプラインを構築するユーザーにとって特に有用です。

ハイライト

• 表現力豊かなハイブリッド検索： ベクトル類似性、全文検索 (BM25)、SQL分析を加速されたセカンダリインデックスと組み合わせて提供します。
• 超高速なランダムアクセス： ランダムアクセスタスクにおいて、ParquetやIcebergと比較して最大100倍高速なパフォーマンスを実現します。
• ネイティブなマルチモーダルサポート： 画像、オーディオ、ビデオ、埋め込みベクトルを統一フォーマットで効率的に保存・管理します。
• データエボリューション： テーブル全体を書き直すことなく、列の追加や値のバックフィルが可能です。
• 豊富なエコシステム統合： Pandas、DuckDB、Polars、Apache Arrow、Spark、Rayなどの人気ツールとネイティブに連携します。