ray-project/llm-applications

해결하는 문제

이 프로젝트는 Ray 프레임워크를 사용하여 프로토타입에서 시작하여 확장 가능하고 고성능의 시스템으로 발전시키는 실용적인 RAG(Retrieval Augmented Generation) 애플리케이션을 구축하고 확장하는 포괄적인 가이드와 구현을 제공합니다. 실제 운영 환경에서의 부하를 처리할 수 있는 시스템으로 전환하는 데 필요한 과제를 해결합니다.

작동 방식

이 프로젝트는 데이터 로딩, 청크화, 임베딩, 인덱싱, 서빙 등의 RAG 파이프라인의 핵심 컴포넌트를 확장하기 위해 Ray 프레임워크를 사용합니다. 오픈소스 LLM(Llama-2 등)과 폐쇄형 모델(GPT-4 등)을 균형 있게 활용하는 하이브리드 라우팅 방식을 구현하는 방법을 보여주며, 다양한 구성의 품질과 성능을 평가할 수 있는 도구도 제공합니다.

대상 사용자

Ray와 Anyscale을 사용하여 RAG 기반 LLM 애플리케이션을 구축하고 확장하며, 실사용 환경에 배포하고자 하는 개발자 및 AI 엔지니어를 대상으로 합니다.

주요 특징

• 스크래치에서 시작해 확장 가능한 RAG 파이프라인을 직접 구축 가능
• 임베딩 및 인덱싱과 같은 주요 컴포넌트를 확장 가능
• 오픈소스 모델과 폐쇄형 모델 간의 하이브리드 라우팅 구현 가능
• 리트리ieval 및 전반적인 품질 점수 최적화를 위한 평가 도구 제공
• 고가용성 방식으로 애플리케이션을 서빙할 수 있는 지원 제공