EmbeddedLLM/JamAIBase

The collaborative spreadsheet for AI. Chain cells into powerful pipelines, experiment with prompts and models, and evaluate LLM responses in real-time. Work together seamlessly to build and iterate on AI applications.

What it solves

JamAI Base는 RAG (Retrieval-Augmented Generation) 백엔드를 구축하는 단순화되고 선언적인 접근 방식을 제공합니다. 복잡한 RAG 파이프라인을 수동으로 구축하거나, 별도의 데이터베이스를 관리하거나, LLM과 저장소 간의 데이터 오케스트레이션(orchestration)을 처리하기 위한 절차적 코드를 작성할 필요가 없습니다.

How it works

이 플랫폼은 구조화된 데이터를 위한 임베디드 SQLite 데이터베이스와 벡터 임베딩(embeddings)을 위한 LanceDB를 통합하고, 이를 관리형 메모리 시스템과 결합합니다. 사용자가 절차적 단계가 아닌 원하는 결과를 정의하는 "선언적 패러다임"을 사용합니다. 이는 스프레드시트와 같은 UI와 REST API를 통해 관리됩니다.

Who it’s for

인프라 관리나 광범위한 백엔드 코드를 작성하는 부담 없이 AI 강화형 애플리케이션, 챗봇, 및 데이터 중심 LLM 워크플로우를 구축하고자 하는 다양한 기술 수준의 개발자와 사용자.

Key components include:

  • Generative Tables: LLM을 사용하여 열을 자동으로 채우는 테이블.
  • Knowledge Tables: LLM에 컨텍스트를 제공하는 구조화된 데이터와 문서의 저장소.
  • Action Tables: 프론트엔드와 LLM 백엔드 간의 실시간 상호작용 및 워크플로우 오케스트레이션을 처리하는 테이블.
  • Chat Tables: LLM과 RAG를 통합한 컨텍스트 인식형 챗봇을 개발하기 위한 특수 목적 테이블.

Highlights

  • Integrated Stack: SQLite와 LanceDB를 결합하여 원활한 구조화된 데이터와 벡터 데이터 관리를 실성합니다.

  • Built-in RAG Pipeline: 적응형 청킹(adaptive chunking), 쿼리 재작성(query rewriting), 및 리랭킹(reranking)을 포함한 하이브리드 검색(키워드, 구조化, 벡터)을 포함합니다.

  • LLM Agnostic: GPT-4, Claude 3, Llama 3를 포함한 다양한 모델을 지원합니다.

  • Declarative Interface: 스프레드시트와 같은 UI를 사용하여 자연어 프롬프트로 데이터 요구사항을 정의합니다.