lance-format/lance

解决的问题

Lance 旨在弥合传统数据湖仓格式与现代 AI/ML 工作流特定需求之间的差距。虽然像 Parquet 或 Iceberg 这样的格式非常适合 SQL 分析，但它们往往难以满足 AI 的高性能需求，例如训练所需的快速随机访问、多模态数据处理以及集成向量搜索。Lance 提供了一种统一的格式，无需单独的专用基础设施即可处理这些任务。

工作原理

Lance 作为一种开放的湖仓格式，包含文件格式、表格式和目录规范。它直接在对象存储（如 S3、GCS 或 Azure）或本地磁盘上运行。它使用高效的 blob 编码和延迟加载来管理多模态数据（如图像、视频、音频和文本）以及嵌入向量。它支持 ACID 事务和零拷贝版本控制，允许用户在无需额外管理系统的情况下对数据进行时间旅行和分支操作。

适用人群

Lance 专为需要管理大规模多模态数据集的数据科学家、ML 工程师和开发人员而构建。对于那些希望在单一高性能生态系统中结合向量相似度搜索、全文搜索和 SQL 分析的搜索引擎、特征存储或训练流水线构建者来说，它特别有用。

亮点

• 富有表现力的混合搜索： 结合了向量相似度、全文 (BM25) 和 SQL 分析，并配有加速的二级索引。
• 闪电般的随机访问： 在随机访问任务中，性能比 Parquet 或 Iceberg 快 100 倍。
• 原生多模态支持： 以统一格式高效存储和管理图像、音频、视频和嵌入向量。
• 数据演进： 允许添加列和回填值，无需重写整个表。
• 丰富的生态集成： 与 Pandas、DuckDB、Polars、Apache Arrow、Spark 和 Ray 等流行工具原生兼容。