deepsense-ai/ragbits

What it solves

Ragbits 提供了一套用于快速开发生成式 AI 应用的模块化构建组件。它通过提供 LLM 交互、数据摄取、检索增强生成 (RAG) 和多智能体协调的标准化工具，简化了构建可靠、可扩展 GenAI 应用的过程。

How it works

Ragbits 被组织成几个专门的包，开发者可以组合使用或单独使用：

• Core: 处理提示词 (prompts)、LLM 调用 (通过 LiteLLM 支持 100+ 模型) 以及向量数据库连接 (例如：Qdrant, PgVector)。
• Document Search: 管理 20+ 种文件格式的摄取管道 (使用 Docling 或 Unstructured) 和检索过程。
• Agents: 为构建智能体系统提供抽象，包括通过 A2A 协议进行基于角色的协作，以及使用 Model Context Protocol (MCP) 进行实时数据集成。
• Chat: 提供全栈基础设施，包括用于部署对话式 AI 的 Chat UI 和 API。
• Evaluate & Guardrails: 用于验证提示词 (通过 promptfoo) 并确保响应安全性的工具。

Who it’s for

需要灵活、类型安全框架的 GenAI 应用开发者，该框架允许他们轻松地更换 LLM、模型，扩展数据摄取，并在无需从头开始构建一切的情况下部署多智能体工作流。

Highlights

• Model Flexibility: 可以在 100+ 个 LLM 之间切换，或通过 LiteLLM 使用本地模型。
• Type Safety: 使用 Python generics 来强制执行模型交互中的严格类型安全。
• Scalable Ingestion: 支持基于 Ray 的并行处理，以应对大规模数据集。
• Multi-Agent Coordination: 使用 A2A 协议进行基于角色的协作。
• - Observability: 通过 OpenTelemetry 和 CLI 洞察力进行实时跟踪。
• Comprehensive Tooling: 包括用于测试提示词和管理向量存储的 CLI，以及内置的 Chat UI。