ray-project/llm-applications

何を解決するか

このプロジェクトは、Rayフレームワークを使用して、スケーラブルで高パフォーマンスなシステムとして、プロトタイプから本番運用可能なRetrieval Augmented Generation (RAG)アプリケーションを構築・スケーリングするための包括的なガイドと実装を提供します。本番ワークロードを処理できるようにするための課題に対処します。

仕組み

このプロジェクトは、データ読み込み、チャンク化、埋め込み、インデックス作成、およびサービングといったRAGパイプラインのコアコンポーネントをスケーリングするためにRayフレームワークを使用しています。オープンソースLLM（例：Llama-2）とクローズドソースモデル（例：GPT-4）のバランスを取るハイブリッドルーティングの実装方法を示し、さまざまな構成の品質とパフォーマンスを評価するためのツールも提供しています。

対象読者

RayとAnyscaleを使用して、RAGベースのLLMアプリケーションを構築・スケーリング・本番化する方法を学びたい開発者やAIエンジニア向けです。

主な特徴

• スクラッチからスケーラブルなRAGパイプラインを自前で構築可能
• 埋め込みやインデックス作成などの主要コンポーネントをスケーリング可能
• オープンソースモデルとクローズドモデル間のハイブリッドルーティングを実装可能
• リトリーブの最適化と全体的な品質スコアを評価するためのツール
• 高可用性を確保したアプリケーションのサービングに対応