lakesoul-io/LakeSoul

LakeSoul is an end-to-end, realtime cloud-native Lakehouse framework for fast data ingestion, concurrent updates, incremental analytics, multimodal data processing and vector search — powering next-generation BI and AI workloads.

解决的问题

LakeSoul 提供了一个超越简单表格式的生产就绪湖仓一体平台。它通过提供“内置全功能”的解决方案，消除了手动组装独立目录、压缩服务和授权层的需求，用于管理具有 ACID 事务、高性能 OLAP 查询以及原生支持多模态数据的大规模数据。

运作原理

LakeSoul 使用以 Rust 编写的高性能核心进行元数据管理和文件 IO，为 Java、Python 和 C++ 提供一致的绑定。它采用类似 LSM-Tree 的结构来处理主键表的高写入吞吐量，并使用 PostgreSQL 进行可扩展的元数据管理和 ACID 控制。该系统支持多种物理文件格式，包括 Parquet 和 Vortex（用于多模态数据和向量嵌入），并与 Spark、Flink、Ray 和 Daft 等各种计算引擎集成。

目标用户

它专为需要统一数据基础设施以支持流式和批处理的数据工程师和 AI 从业者而设计，也适合那些使用 PyTorch 或 Ray 训练 AI 模型且需要高效访问湖仓数据的用户。

特色亮点

  • Rust 原生核心：单一高性能核心确保在所有支持的语言和引擎中具有一致的 ACID 保证和读取性能。
  • 多模态支持：通过 Vortex 文件格式和与 Daft 的集成，原生处理多模态数据和向量嵌入。
  • 自动化维护：内置分离式多级压缩、表生命周期维护和冗余数据清理。
  • 广泛的引擎兼容性：支持多种计算框架，包括 Spark、Flink、Presto、Ray、Daft、DuckDB 和 PyArrow。
  • 企业级安全性：通过 S3 代理授权层实现细粒度的 RBAC 和物理数据隔离。

相关

  • 项目
    arkflow-rs/arkflow

    ArkFlow 是一个基于 Rust 的高性能流处理引擎，支持多种数据源（Kafka、MQTT、HTTP、文件、SQL 等），并提供丰富的处理器，包括 SQL、Python UDF 以及面向 AI 的组件，如嵌入生成、LLM 聊天调用和向量相似性搜索。它还提供持久化传递、可选的恰好一次语义，以及用于集群管理的可选基于 Web 的控制平面。

  • 项目
    datachain-ai/datachain

    DataChain 是一个 Python 库，它将云存储中的文件转换为存储在 SQLite 支持的 Dataset DB 中的版本化、类型化数据集。它提供快速的类 SQL 查询、向量搜索、增量处理以及可选的 markdown 知识库。通过安装的技能，LLM 代理（如 Claude、Cursor、Codex 等）可以读取和操作这些数据集，从而实现代理驱动的数据流水线。该项目还提供了一个用于共享数据集注册和分布式计算的云端 Studio。

  • 项目
    OpenDCAI/DataFlow

    DataFlow 是一个开源 Python 框架，可让您构建、运行和共享用于生成、清洗和评估 LLM 训练数据的低代码流水线。它提供了一套可重用的操作符库、一个可视化 WebUI、一个用于自动创建流水线的 AI 助手，以及一个基于 Ray 的分布式执行层。

  • 项目
    databricks-demos/dbdemos

    dbdemos 是一个可 pip 安装的 Python 工具包，可自动化设置 Databricks Lakehouse 演示包——通过单个命令安装笔记本、集群、流水线、仪表板以及可选的 ML 模型。

  • 项目
    akitaonrails/ai-memory

    ai-memory 是一个面向 AI 编码代理的长期记忆系统，将记忆存储为基于 git 的 Markdown，可在代理、项目、机器和团队之间工作，默认零 LLM，并提供可选的 LLM 功能。