spiceai/spiceai
Add a real-time analytics node to your operational database. Spice is a portable, accelerated SQL query, search, and LLM-inference engine in Rust for data-grounded AI apps and agents.
해결하는 문제
Spice는 복잡한 데이터 파이프라인과 글루 코드(glue code)의 필요성을 제거하여 데이터 기반 AI 애플리케이션 및 에이전트 구축의 복잡성을 해결합니다. 로컬 사이드카 또는 분산 클러스터로 실행 가능한 고성능 엔진을 제공함으로써 대규모 데이터 세트 쿼리의 레이턴시 문제를 해결하고, 데이터 및 AI 추론에 대해 밀리초 단위의 레이턴시 액세스를 제공합니다.
작동 원리
Spice는 클러스터 사이드카 아키텍처를 사용하여 애플리케이션 옆의 localhost에서 가벼운 런타임이 실행되어 최소한의 레이턴시로 데이터와 추론을 제공합니다. 계층형 레이턴시 모델(로컬 결과 캐시, 로컬 워킹 셋, 대규모 쿼리를 위한 분산 클러스터로의 투명한 위임)을 사용합니다. 엔진은 Rust로 구축되었으며 Apache DataFusion, Arrow, Iceberg와 같은 기반 기술을 활용합니다. 또한 실시간 CDC(Change Data Capture) 메커니즘을 특징으로 하여 PostgreSQL, MySQL, MongoDB와 같은 운영 데이터베이스의 프로덕션 부하에 영향을 주지 않고 샌드박스화된 분석용 복제본을 생성합니다.
대상 사용자
- AI 애플리케이션 개발자: 빠른 데이터 기반 검색 및 추론이 필요한 에이전트를 구축하는 개발자.
- 데이터 엔지니어: 전통적인 ETL 프로세스 없이 운영 데이터베이스에서 실시간 분석을 구현하고자 하는 엔지니어.
- 엔터프라이즈 팀: 내장된 관측성(observability) 및 비밀 관리 기능을 갖춘 안전한 멀티테넌트 AI 런타임이 필요한 팀.
주요 특징
- AI 네이티브 런타임: OpenAI 호환 API, text-to-SQL (NSQL) 및 통합된 벡터/텍스트 검색 프리미티브를 제공합니다.
- 하이브리드 검색: Amazon S3 Vectors, Tantivy BM25 및 DuckDB HNSW를 사용하여 페타바이트 규모의 하이브리드 검색을 지원합니다.
- 실시간 CDC: 약 2초의 최신성을 유지하며 프로덕션 부하 없이 데이터베이스의 분석용 복제본을 유지합니다.
- 고성능: Cayenne 데이터 가속기를 특징으로 하여 DuckDB에 비해 훨씬 빠른 쿼리 속도와 낮은 메모리 사용량을 제공합니다.
- 연합 데이터 액세스: 쿼리 푸시다운(query push-down) 기능과 함께 Snowflake, Databricks, S3, Kafka를 포함한 30개 이상의 데이터 소스에 연결됩니다.