spiceai/spiceai

解决的问题

Spice 是一个可移植、加速的 SQL 查询、搜索和 LLM 推理引擎，旨在消除构建数据驱动型 AI 应用和代理时对复杂数据管道和“胶水”代码的需求。它解决了在查询联邦数据源时高延迟和高运维开销的问题，提供了一种在本地运行毫秒级延迟查询和 AI 推理的方法，同时可扩展至分布式集群。

工作原理

Spice 采用“集群侧车架构”。一个轻量级的 Spice 侧车运行在应用 Pod 中，从本地的限定数据集提供 SQL、搜索和 LLM 推理服务。对于更大的数据集或“长尾”查询，它会透明地将请求委托给由 Apache Ballista 驱动的分布式查询处理和 Spice Cayenne 数据加速器支持的中央 Spice 集群。它支持对 PostgreSQL、MySQL 和 MongoDB 的原生变更数据捕获（CDC），无需 Kafka 或 Debezium 等 ETL 工具。

适用人群

适用于需要实时访问跨多种数据源（如 S3、Snowflake、MongoDB、Postgres）的联邦数据，并希望将 LLM 推理和向量搜索集成到单一查询计划中的 AI 代理和数据密集型应用开发者。

主要亮点

• 实时分析节点：以约 2 秒的新鲜度创建操作数据库（Postgres、MySQL、MongoDB）的沙箱副本，且对生产环境零负载。
• AI 原生运行时：将 OpenAI 兼容 API、文本转 SQL（NSQL）和向量搜索（包括 Amazon S3 Vectors）直接集成到 SQL 原语中。
• 混合搜索：在单个 SQL 查询中结合 BM25 全文搜索、向量搜索和使用 Reciprocal Rank Fusion（RRF）的重排序。
• 高性能加速：在 Vortex 上使用 Spice Cayenne 加速器，相比 Parquet 或 DuckDB，实现更快的随机访问和更低的内存使用。
• 联邦查询：支持连接 30 多个数据源，并具备高级查询下推能力。
• 企业级就绪：包含 mTLS、HashiCorp/Azure Key Vault 集成以及 Model Context Protocol（MCP）支持。