spiceai/spiceai

解決する課題

Spiceは、複雑なデータパイプラインやグルーコード（glue code）を不要にすることで、データに基づいたAIアプリケーションやエージェント構築の複雑さを解決します。ローカルサイドカーまたは分散クラスターとして実行可能な高性能エンジンを提供することで、大規模データセットのクエリにおけるレイテンシの問題に対処し、データとAI推論へのミリ秒単位の低レイテンシアクセスを実現します。

仕組み

Spiceはクラスターサイドカーアーキテクチャを採用しており、アプリケーションの隣の localhost で軽量なランタイムが動作し、最小限のレイテンシでデータと推論を提供します。階層型レイテンシモデル（ローカル結果キャッシュ、ローカルワーキングセット、および大規模クエリ用の分散クラスターへの透過的な委譲）を使用しています。エンジンはRustで構築されており、Apache DataFusion、Arrow、Icebergなどの基盤を活用しています。また、リアルタイムCDC（Change Data Capture）メカニズムを備えており、PostgreSQL、MySQL、MongoDBなどの運用データベースの負荷に影響を与えることなく、サンドボックス化された分析用レプリカを作成できます。

対象ユーザー

• AIアプリケーション開発者: 高速なデータに基づいた検索と推論を必要とするエージェントを構築する開発者。
• データエンジニア: 従来のETLプロセスなしに、運用データベース上でのリアルタイム分析を実装したいエンジニア。
• エンタープライズチーム: 組み込みのオブザーバビリティとシークレット管理を備えた、安全なマルチテナントAIランタイムを必要とするチーム。

ハイライト

• AIネイティブ・ランタイム: OpenAI互換API、text-to-SQL (NSQL)、および統合されたベクトル/テキスト検索プリミティブを提供。
• ハイブリッド検索: Amazon S3 Vectors、Tantivy BM25、DuckDB HNSWを使用したペタバイト規模のハイブリッド検索をサポート。
• リアルタイムCDC: 約2秒の鮮度で、本番環境の負荷ゼロでデータベースの分析用レプリカを維持。
• 高性能: Cayenneデータアクセラレータを搭載し、DuckDBと比較して大幅に高速なクエリと低いメモリ使用量を実現。
• フェデレーテッド・データアクセス: Snowflake、Databricks、S3、Kafkaを含む30以上のデータソースにクエリ・プッシュダウン機能付きで接続。