pathwaycom/llm-app

What it solves

이 프로젝트는 대규모 규모의 고정밀 RAG (Retrieval-Augmented Generation) 및 엔터프라이즈 검색을 위해 설계된 즉시 배포 가능한 AI 애플리케이션 템플릿 세트를 제공합니다.n 이 프로젝트는 복잡한 인프라 의존성(예: 별도의 벡터 데이터베이스, 캐시, API 프레임워크)을 유지 관리하는 문제를, 이러한 구성 요소들을 하나의 통합된 파이프라인으로 통합함으로써 해결합니다.

How it works

파이프라인은 Pathway Live Data Framework를 기반으로 구축되었으며, Google Drive, S3, Kafka, PostgreSQL과 같은 데이터 소스와의 실시간 동기화를 처리합니다. 시스템은 내장된 인메모리 인덱싱(벡터 검색을 위한 usearch 및 전체 텍스트 검색을 위한 Tantivy)을 사용하여 하이브리드 검색 기능을 구현합니다.

이 애플리케이션들은 Docker 컨테이너로 배포할 수 있으며, 프론트엔드 연결을 위한 HTTP API를 제공하며, 일부 템플릿에는 테스트를 위한 Streamlit UI가 포함되어 있습니다.

Who it's for

실시간 데이터 소스와 동기화 상태를 유지하며 수백만 페이지의 문서로 확장 가능한 생산급 RAG 애플리케이션을 빠르게 배포하고자 하는 개발자 및 기업입니다.

Highlights

• Live Data Sync: 다양한 파일 시스템 및 클라우드 스토리지의 추가, 삭제 및 업데이트를 자동 동기화합니다.
• Canned Templates: 멀티모달 RAG (GPT-4o), 비디오 RAG (TwelveLabs), 그리고 비정형 데이터-to-SQL 변환을 위한 특화된 파이프라인을 포함합니다.
• Infrastructure-less: 내장된 인메모리 인덱싱을 사용하여 외부 벡터 데이터베이스나 Redis 캐시의 필요성을 제거합니다.
• LlamaIndex/LangChain Integration: 기존 LLM 프레임워크의 검색기(retriever) 백엔드로 사용할 수 있습니다.
• Adaptive RAG: 정확도를 유지하면서 토큰 비용을 최대 4배까지 절감할 수 있는 기술을 특징으로 합니다.