ray-project/llm-applications

A comprehensive guide to building RAG-based LLM applications for production.

解决的问题

本项目提供了一个全面的指南和实现方案，用于使用 Ray 框架构建和扩展可投入生产的检索增强生成（RAG）应用。它解决了从简单原型过渡到可扩展、高性能系统所面临的挑战，该系统能够处理生产环境的工作负载。

如何工作

该项目使用 Ray 框架来扩展 RAG 流水线的核心组件，包括数据加载、分块、嵌入、索引和部署。它展示了如何实现混合路由策略，以平衡使用开源 LLM（如 Llama-2）和闭源模型（如 GPT-4）的使用，并提供了评估不同配置质量与性能的工具。

适用人群

希望学习如何使用 Ray 和 Anyscale 构建、扩展并投入生产的 RAG 基础 LLM 应用的开发者和 AI 工程师。

主要亮点

  • 从零开始构建可扩展的 RAG 流水线
  • 扩展嵌入和索引等关键组件
  • 实现开源与闭源 LLM 之间的混合路由
  • 提供用于优化检索和整体质量评分的评估工具
  • 支持以高可用方式部署应用

相关

  • 项目
    weiwill88/Local_Pdf_Chat_RAG

    一个模块化的 Python RAG 管道实现，专为学习与实验而设计，具备混合检索功能并支持多种 LLM 后端。

  • 项目
    deepset-ai/haystack

    一个开源的 AI 编排框架，用于在 Python 中构建可投入生产的 RAG 系统、自主代理和 LLM 应用。

  • 项目
    NVIDIA-AI-Blueprints/rag

    A reference solution for building enterprise RAG pipelines using NVIDIA NIM microservices, supporting multimodal data extraction and agentic multi‑hop retrieval.

  • 项目
    Farzad-R/LLM-Zero-to-Hundred

    一个涵盖 RAG、智能体工作流、多模态聊天机器人和微调流水线的 LLM 项目和教程集合，旨在从基础迈向高级 AI 应用开发。

  • 项目
    SensAI-PT/RAGMeUp

    通过提供即插即用的架构并减少样板代码，实现快速构建模块化且可扩展的 RAG 应用的框架。