spiceai：具備叢集 Sidecar 架構的加速 SQL 與 LLM 推論引擎，適用於資料為本的 AI 代理人

它解決了什麼問題

Spice 的設計目的是消除建構資料為本的 AI 應用與代理人時，通常需要的複雜資料管線與「黏合程式碼」。它提供一個統一的引擎，支援 SQL 查詢、搜尋與 LLM 推論，讓開發者能在本機（localhost）以毫秒級延遲存取聯邦資料來源，無論是以獨立執行檔、Kubernetes sidecar，或是分散式叢集的形式執行。

它如何運作

Spice 採用「叢集 Sidecar」架構。輕量的 sidecar 與應用程式一起在本機執行，提供來自特定工作集的資料服務。對於較大的查詢，sidecar 會透明地委派給由 Apache Ballista 提供分散式執行的中心 Spice 叢集，並使用 Spice Cayenne 加速器進行高效能的欄位式資料存取。它整合了超過 30 種資料連接器（例如 Postgres、Snowflake、S3），並支援原生 CDC 以即時更新。AI 功能直接嵌入 SQL 引擎，使向量搜尋、重新排序與文字轉 SQL（NSQL）能在單一查詢計畫中完成。

目標使用者

此工具為開發 AI 代理人與資料密集型應用的開發者而建，這類應用需要高效能存取多樣且聯邦的資料來源，同時不想承擔管理複雜 ETL 管線的運營負擔。

重點特色

• 叢集 Sidecar 架構：結合本地結果快取、本地工作集與分散式叢集委派，提供分層延遲。
• AI 原生執行環境：透過相容 OpenAI 的 API 與 MCP 支援，將 LLM 推論、向量搜尋與文字轉 SQL 直接整合至 SQL 引擎。
• 高效能加速：使用 Spice Cayenne 加速器與 Vortex 欄位格式，在特定工作負載上超越 DuckDB 與 Parquet。
• 聯邦查詢：連接 30+ 資料來源，並支援使用標準 SQL 寫入 Apache Iceberg 表格。
• 即時 CDC：原生支援 PostgreSQL WAL 與 DynamoDB Streams，實現低延遲資料同步。
• 企業級就緒：內建 mTLS、HashiCorp Vault/Azure Key Vault 整合，以及 OpenTelemetry 可觀測性。

摘要

一個以 Rust 撰寫、可攜帶且加速的 SQL 查詢、搜尋與 LLM 推論引擎，使資料為本的 AI 應用與代理人能以毫秒級延遲存取聯邦資料。

標題

spiceai：具備叢集 Sidecar 架構的加速 SQL 與 LLM 推論引擎，適用於資料為本的 AI 代理人