pathwaycom/llm-app

What it solves

Pathway AI Pipelines는 고정밀 RAG(Retrieval‑Augmented Generation) 및 엔터프라이즈 검색 애플리케이션을 대규모로 빠르게 배포할 수 있는 방법을 제공합니다. 실시간 데이터 소스와 자동으로 동기화함으로써 AI 애플리케이션을 최신 상태로 유지하는 문제를 해결하고, 벡터 데이터베이스, 캐시, API 프레임워크를 위한 별도 인프라가 필요하지 않게 합니다.

How it works

이 프레임워크는 Pathway Live Data Framework(러스트 엔진을 갖춘 파이썬 라이브러리)을 사용해 Google Drive, S3, Kafka, PostgreSQL, 로컬 파일 시스템 등 다양한 소스의 데이터를 동기화합니다. usearch(벡터 검색)와 Tantivy(전체 텍스트 검색)를 이용한 인메모리 인덱싱을 포함한 즉시 배포 가능한 템플릿을 제공합니다. 이러한 파이프라인은 Docker 컨테이너로 실행될 수 있으며, 프론트엔드 통합을 위한 HTTP API를 노출합니다.

Who it’s for

실시간 데이터 동기화가 필요하고 인프라 부담을 최소화하면서 RAG 애플리케이션을 구축·확장하려는 개발자와 기업을 위한 솔루션입니다.

Highlights

• Live Data Sync: 다양한 클라우드 및 온프레미스 데이터 소스에서 추가, 삭제, 업데이트를 자동으로 처리합니다.
• Integrated Stack: 데이터 인덱싱, 검색, LLM 로직을 하나의 프레임워크에 통합해 외부 벡터 DB나 캐시가 필요 없습니다.
• Diverse Templates: 기본 QA RAG, GPT‑4o를 활용한 멀티모달 RAG, Ollama를 통한 프라이빗 로컬 RAG, 비구조화 데이터를 SQL로 변환하는 파이프라인 등 다양한 템플릿을 포함합니다.
• Scalability: 수백만 페이지에 달하는 문서까지 확장할 수 있습니다.