deepsense-ai/ragbits

Building blocks for rapid development of GenAI applications

What it solves

Ragbits는 생성형 AI 애플리케이션의 신속한 개발을 위한 모듈식 빌딩 블록 세트를 제공합니다. LLM 상호작용, 데이터 인제스션, 검색 증강 생성(RAG), 멀티 에이전트 조정 기능을 위한 표준화된 도구를 제공함으로써 신뢰할 수 있고 확장 가능한 GenAI 앱을 구축하는 프로세스를 단순화합니다.

How it works

Ragbits는 개발자가 함께 또는 개별적으로 사용할 수 있는 여러 전문화된 패키지로 구성되어 있습니다:

  • Core: 프롬프트, LLM 호출 (LiteLLM을 통해 100개 이상의 모델 지원), 및 벡터 데이터베이스 연결 (예: Qdrant, PgVector)을 처리합니다.

  • Document Search: 20개 이상의 파일 형식에 대한 인제스션 파이프라인 (Docling 또는 Unstructured 사용) 및 검색 프로세스를 관리합니다.

  • Agents: 에이전트 시스템 구축을 위한 추상화를 제공합니다. 여기에는 A2A 프로토콜을 통한 역할 기반 협업 및 Model Context Protocol (MCP)을 사용한 실시간 데이터 통합이 포함됩니다.

  • Chat: 대화형 AI 배포를 위한 Chat UI 및 API를 포함한 풀스택 인프라를 제공합니다.

  • Evaluate & Guardrails: 프롬프트 검증 (promptfoo 사용) 및 응답 안전성을 보장하기 위한 도구입니다.

Who it’s for

유연하고 타입 안전한 프레임워크가 필요한 GenAI 애플리케이션 개발자. LLM을 쉽게 교체하고, 데이터 인제스션을 확장하며, 처음부터 모든 것을 구축하지 않고도 멀티 에이전트 워크플로우를 배포할 수 있습니다.

Highlights

  • Model Flexibility: 100개 이상의 LLM 간 전환 또는 LiteLLM을 통한 로컬 모델 사용.
  • Type Safety: Python generics를 사용하여 모델 상호작용에서 엄격한 타입 안전성을 강제합니다.
  • Scalable Ingestion: 대규모 데이터 세트를 위한 Ray 기반 병렬 처리를 지원합니다.
  • Multi-Agent Coordination: A2A 프로토콜을 사용한 역할 기반 협업.
  • Observability: OpenTelemetry를 통한 실시간 추적 및 CLI 인사이트.
  • Comprehensive Tooling: 프롬프트 테스트 및 벡터 스토어 관리를 위한 CLI와 내장된 Chat UI를 포함합니다.