ray-project/llm-applications
A comprehensive guide to building RAG-based LLM applications for production.
解決的問題
本專案提供一個全面的指南與實作，使用 Ray 框架來建構與擴展可投入生產的檢索增強生成（RAG）應用。它解決了從簡單原型過渡到可擴展、高效率系統所面臨的挑戰，該系統能處理生產環境的工作負載。
如何運作
本專案使用 Ray 框架來擴展 RAG 流程的核心元件，包括資料載入、分塊、嵌入、索引與服務。它示範如何實作混合路由策略，以平衡使用開源 LLM（如 Llama-2）與封閉式模型（如 GPT-4）的使用，並提供工具來評估不同組態的品質與效能。
適用對象
希望學習如何使用 Ray 與 Anyscale 建構、擴展並投入生產的 RAG 基礎 LLM 應用的開發者與 AI 工程師。
主要亮點
- 從零開始建構可擴展的 RAG 流程
- 擴展嵌入與索引等主要元件
- 實作開源與封閉式 LLM 之間的混合路由
- 提供用於優化檢索與整體品質分數的評估工具
- 支援以高可用方式部署應用
相關
- 專案
- 專案
- 專案
- 專案
- 專案