databendlabs/databend

Data Agent Ready Warehouse : One for Analytics, Search, AI, Python Sandbox. — rebuilt from scratch. Unified architecture on your S3.

解决的问题

Databend 提供了一个统一的企业级数据仓库,结合了大规模分析、向量搜索和全文搜索。它通过提供一个安全的环境,在不影响生产稳定性的情况下直接在企业数据上运行 Agent 逻辑,专门解决 AI Agent 的需求。

工作原理

Databend 基于 Rust 构建,采用三层架构来支持 AI 工作负载:

  1. Control Plane:管理资源调度、权限和沙箱的生命周期。
  2. Execution Plane:处理 SQL 编排并通过 Arrow Flight 进行通信。
  3. Compute Plane:使用隔离的 Sandbox Workers 运行 Python 用户定义函数 (UDFs),在此执行 Agent 逻辑(如 LLM 调用和工具使用)。

它还具有类似 Git 的数据分支功能,允许 Agent 在生产快照上进行安全实验。

适用对象

专为构建 AI Agent、RAG(检索增强生成)系统以及需要云原生扩展性 (S3/Azure/GCS) 的大规模分析和 BI 应用的企业而设计。

亮点

  • 统一引擎:将分析、向量搜索和全文搜索集成在一起。
  • 沙箱 UDFs:允许在数据库内安全地运行基于 Python 的 Agent 逻辑。
  • 数据分支:通过版本控制实现生产数据的安全实验。
  • 云原生:支持弹性计算并与主流云存储提供商集成。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目