deepsense-ai/ragbits

Building blocks for rapid development of GenAI applications

What it solves

Ragbits 提供了一套用於快速開發生成式 AI 應用程式的模組化構建組件。它透過提供 LLM 互動、數據攝取、檢索增強生成 (RAG) 和多代理人協調的標準化工具，簡化了構建可靠且具擴展性的 GenAI 應用程式的過程。

How it works

Ragbits 被組織成幾個專門的套件，開發者可以組合使用或單獨使用：

  • Core: 處理提示詞 (prompts)、LLM 呼叫 (透過 LiteLLM 支援 100+ 模型) 以及向量資料庫連接 (例如：Qdrant, PgVector)。
  • Document Search: 管理 20+ 種檔案格式的攝取管道 (使用 Docling 或 Unstructured) 以及檢索程序。
  • Agents: 為構建代理人系統提供抽象化，包括透過 A2A 協定進行的角色基協作，以及使用 Model Context Protocol (MCP) 進行即時數據整合。
  • Chat: 提供全棧基礎設施，包括用於部署對話式 AI 的 Chat UI 和 API。
  • Evaluate & Guardrails: 用於驗證提示詞 (透過 promptfoo) 並確保回應安全性 的工具。

Who it’s for

需要靈活、類型安全框架的 GenAI 應用程式開發者，該框架允許他們輕鬆地更換 LLM、擴展數據攝取，並在不從零開始構建一切的情況下部署多代理人工作流。

Highlights

  • Model Flexibility: 可以在 100+ 個 LLM 之間切換，或透過 LiteLLM 使用本地模型。
  • Type Safety: 使用 Python generics 來強制執行模型互動中的嚴格類型安全。
  • Scalable Ingestion: 支援基於 Ray 的並行處理，以應對大型數據集。
  • Scalable Ingestion: 支援基於 Ray 的並行處理，以應對大型數據集。
  • Multi-Agent Coordination: 使用 A2A 協定進行角色基協作。
  • Observability: 透過 OpenTelemetry 和 CLI 洞察力進行即時追蹤。
  • Comprehensive Tooling: 包含用於測試提示詞和管理向量資料庫的 CLI，以及內建的 Chat UI。"},