spiceai：面向数据驱动 AI 代理的加速 SQL 与 LLM 推理引擎，采用集群 Sidecar 架构

它解决了什么

Spice 旨在消除构建数据驱动 AI 应用和代理时通常需要的复杂数据管道和“胶水代码”。它提供了一个统一的引擎，用于 SQL 查询、搜索和 LLM 推理，使开发者能够在本地主机上以毫秒级延迟访问联邦数据源，无论是以独立二进制、Kubernetes Sidecar 还是分布式集群的形式运行。

工作原理

Spice 采用“集群 Sidecar”架构运行。一个轻量级 Sidecar 与应用程序在本地主机上并行运行，提供来自受限工作集的数据服务。对于更大的查询，它会透明地委派给由 Apache Ballista 提供分布式执行、Spice Cayenne 加速器提供高性能列式数据访问的中心 Spice 集群。它集成了 30 多种数据连接器（例如 Postgres、Snowflake、S3），并支持原生 CDC 实现实时更新。AI 能力直接嵌入 SQL 引擎，使向量搜索、重新排序和文本转 SQL（NSQL）能够在单一查询计划中完成。

适用人群

该项目面向构建 AI 代理和数据密集型应用的开发者，这类应用需要高性能访问多样化、联邦化的数据源，而无需管理复杂 ETL 管道的运维负担。

亮点

• 集群 Sidecar 架构：结合本地结果缓存、本地工作集和分布式集群委派，实现分层延迟。
• AI 原生运行时：通过兼容 OpenAI 的 API 和 MCP 支持，将 LLM 推理、向量搜索和文本转 SQL 直接集成到 SQL 引擎中。
• 高性能加速：使用 Spice Cayenne 加速器和 Vortex 列式格式，在特定工作负载下超越 DuckDB 与 Parquet。
• 联邦查询：连接 30+ 数据源，并支持使用标准 SQL 写入 Apache Iceberg 表。
• 实时 CDC：原生支持 PostgreSQL WAL 与 DynamoDB Streams，实现低延迟数据同步。
• 企业级就绪：包含 mTLS、HashiCorp Vault/Azure Key Vault 集成以及 OpenTelemetry 可观测性。

摘要

一款用 Rust 编写的可移植、加速的 SQL 查询、搜索与 LLM 推理引擎，使数据驱动的 AI 应用和代理能够以毫秒级延迟访问联邦数据。

标题

spiceai：面向数据驱动 AI 代理的加速 SQL 与 LLM 推理引擎，采用集群 Sidecar 架构