spiceai/spiceai

解決的問題

Spice 是一個可攜式、加速的 SQL 查詢、搜尋與 LLM 推論引擎，旨在消除建立資料驅動型 AI 應用與代理時對複雜資料管道與「膠水」程式碼的需求。它解決了查詢聯邦資料來源時的高延遲與高營運負擔問題，提供在本機執行毫秒級延遲的查詢與 AI 推論方法，同時可擴展至分散式叢集。

工作原理

Spice 採用「叢集側車架構」。輕量級的 Spice 側車執行於應用程式 Pod 中，從本機的範圍內資料集提供 SQL、搜尋與 LLM 推論服務。對於較大資料集或「長尾」查詢，它會透明地將請求委派給由 Apache Ballista 驅動的分散式查詢處理與 Spice Cayenne 資料加速器支援的中央 Spice 叢集。支援對 PostgreSQL、MySQL 與 MongoDB 的原生變更資料捕獲（CDC），無需 Kafka 或 Debezium 等 ETL 工具。

適用對象

適用於需要即時存取跨多種資料來源（例如 S3、Snowflake、MongoDB、Postgres）的聯邦資料，並希望將 LLM 推論與向量搜尋整合至單一查詢計畫中的 AI 代理與資料密集型應用開發者。

主要亮點

• 即時分析節點：以約 2 秒的新鮮度建立操作資料庫（Postgres、MySQL、MongoDB）的沙箱複本，且對生產環境零負載。
• AI 原生執行時：將 OpenAI 相容 API、文字轉 SQL（NSQL）與向量搜尋（包含 Amazon S3 Vectors）直接整合至 SQL 原語中。
• 混合搜尋：在單一 SQL 查詢中結合 BM25 全文搜尋、向量搜尋與使用 Reciprocal Rank Fusion（RRF）的重排序。
• 高效能加速：於 Vortex 上使用 Spice Cayenne 加速器，相比 Parquet 或 DuckDB，實現更快的隨機存取與更低的記憶體使用。
• 聯邦查詢：支援連接 30 多個資料來源，並具備進階查詢下推能力。
• 企業級就緒：包含 mTLS、HashiCorp/Azure Key Vault 集成以及 Model Context Protocol（MCP）支援。