spiceai/spiceai

何を解決するか

Spice は、データ駆動型 AI アプリケーションやエージェントを構築する際に、複雑なデータパイプラインや「グルー」コードを必要としない、ポータブルで高速な SQL クエリ、検索、LLM 推論エンジンです。連合データソースへのクエリにおける高遅延と運用負荷の問題を解決し、ローカルホスト上でミリ秒単位の遅延でクエリと AI 推論を実行できるようにし、分散クラスタにスケーリングも可能になります。

動作方法

Spice は「クラスターサイドカーアーキテクチャ」を採用しています。アプリケーションのポッド内で軽量な Spice サイドカーが動作し、ローカルホスト上のスコープされたデータセットから SQL、検索、LLM 推論を提供します。大規模なデータセットや「ロングテール」クエリの場合、Apache Ballista による分散クエリ処理と Spice Cayenne データアクセラレータで駆動される中央の Spice クラスタにリクエストを透明にデリゲートします。PostgreSQL、MySQL、MongoDB に対してネイティブな変更データキャプチャ（CDC）をサポートしており、Kafka や Debezium などの ETL ツールを必要としません。

対象ユーザー

リアルタイムでさまざまなデータソース（例：S3、Snowflake、MongoDB、Postgres）にアクセスする必要があるデータ集約型アプリケーションや AI エージェントを開発している開発者向けです。また、1 つのクエリプランに LLM 推論とベクトル検索を統合する必要がある方にも適しています。

主な特徴

• リアルタイム分析ノード：運用データベース（Postgres、MySQL、MongoDB）のサンドボックスレプリカを、約 2 秒の新鮮度で作成し、本番環境への負荷はゼロです。
• AIネイティブランタイム：OpenAI互換 API、テキストから SQL（NSQL）、ベクトル検索（Amazon S3 Vectors を含む）を SQL プリミティブに直接統合します。
• ハイブリッド検索：1 つの SQL クエリ内で BM25 フルテキスト検索、ベクトル検索、Reciprocal Rank Fusion（RRF）による再ランク付けを組み合わせます。
• 高性能アクセラレーション：Vortex 上の Spice Cayenne アクセラレータを使用し、Parquet や DuckDB と比較してより高速なランダムアクセスと低メモリ使用量を実現します。
• フェデレーテッドクエリ：30 以上のデータソースに接続可能で、高度なクエリプッシュダウン機能を備えています。
• エンタープライズ対応：mTLS、HashiCorp/Azure Key Vault 統合、Model Context Protocol（MCP）サポートを含みます。