pathwaycom/serviette

개요

Pathway Live Data Framework AI Pipelines는 라이브 데이터 소스(파일, Google Drive, SharePoint, S3, Kafka, PostgreSQL 등) 위에 검색 증강 생성(RAG) 서비스를 구축할 수 있는 즉시 실행 가능한 애플리케이션 템플릿 모음입니다. 각 템플릿에는 데이터 수집, 벡터/하이브리드 인덱싱, LLM 호출 및 HTTP API(선택적으로 Streamlit UI)를 위한 코드가 번들로 포함되어 있습니다. 무거운 작업은 오픈소스 Pathway 라이브러리가 수행하며, 실시간으로 데이터를 동기화하고 인메모리 벡터 저장소(usearch 경유)와 전체 텍스트 인덱스(Tantivy 경유)를 제공합니다.

중요성

• 라이브 업데이트 – 추가, 제거 또는 변경된 문서가 자동으로 다시 인덱싱되므로 RAG 시스템은 항상 최신 지식으로 응답합니다.
• 올인원 스택 – 외부 벡터 DB, 캐시 또는 API 프레임워크를 프로비저닝할 필요가 없습니다. Pathway는 내장 벡터 인덱스와 FastAPI 서버를 제공합니다.
• 확장 가능한 템플릿 – 예제는 수백만 페이지를 처리하고 멀티모달 입력(PDF 테이블, 슬라이드, 비디오 캡션)을 지원하면서 낮은 지연 시간을 유지한다고 주장합니다.
• 유연성 – 데이터 소스를 교체하거나, 인덱스 유형을 변경하거나, LLM을 한 줄 변경으로 교체할 수 있습니다.

대상 사용자

• 제품 팀 – 개별 구성 요소를 연결하지 않고 엔터프라이즈 검색 또는 문서 QA 서비스의 빠른 프로토타입이 필요한 경우.
• 데이터 엔지니어 – 기업 데이터를 검색 가능한 벡터 저장소로 지속적으로 수집하기 위한 재현 가능한 파이프라인을 원하는 경우.
• 개발자 – RAG 패턴(적응형 RAG, 멀티모달 RAG, 비정형-to-SQL)의 참조 구현을 찾고 있으며 로컬에서 실행하거나 클라우드/온프레미스에 배포할 수 있는 경우.

시작 방법

1. 리포지토리를 클론하고 templates/ 아래의 템플릿 폴더(예: question_answering_rag)를 선택합니다.
2. 템플릿의 README.md를 따릅니다 – 일반적으로 Docker 이미지를 빌드하고 실행하는 한 줄 명령이며, 선택적으로 Streamlit UI를 시작합니다.
3. 환경 변수를 통해 데이터 소스(로컬 폴더, Google Drive, S3 등)와 사용할 LLM(OpenAI GPT-3/4, Ollama를 통한 Mistral 등)을 구성합니다.
4. 컨테이너는 FastAPI 서버를 시작하여 /query(또는 유사한)를 노출하고, 포함된 경우 대화형 테스트를 위한 Streamlit 프론트엔드를 제공합니다.
5. 프로덕션의 경우 Docker 이미지를 클라우드 레지스트리에 푸시하고 GCP, AWS, Azure, Render 또는 온프레미스에서 실행합니다.

내부 구성

템플릿	핵심 사용 사례	하이라이트
질문 응답 RAG	PDF/DOCX에 대한 간단한 문서 QA	라이브 동기화, 모든 LLM, 데모 REST 엔드포인트
라이브 문서 인덱싱	벡터 저장소 as a Service	LangChain 또는 LlamaIndex의 백엔드로 사용 가능
멀티모달 RAG(GPT-4o)	PDF에서 테이블/차트 추출 및 인덱싱	GPT-4o를 사용하여 파싱, 차트 및 테이블 처리
비정형-to-SQL	금융 PDF를 SQL 테이블로 변환하고 생성된 쿼리로 응답
적응형 RAG	정확도를 유지하면서 토큰 사용량을 최대 4배 절감
프라이빗 RAG(Mistral + Ollama)	완전 로컬 스택, 외부 API 호출 없음
슬라이드 AI 검색	PowerPoint 및 PDF 슬라이드 인덱싱, 멀티모달 검색
비디오 RAG(TwelveLabs)	비디오를 리치 텍스트로 변환, Marengo로 임베딩, 비디오 콘텐츠 쿼리

커뮤니티 및 지원

• 도움을 위한 Discord 채널(discord.gg/pathway).
• 이슈는 주요 Pathway 리포지토리(github.com/pathwaycom/pathway)에 제출됩니다.
• 공식 문서 및 추가 템플릿은 Pathway 웹사이트에 나열되어 있습니다.

---

TL;DR – 이 리포지토리는 Pathway Live Data Framework를 기반으로 한 Docker 준비 RAG 애플리케이션 템플릿을 제공하여 많은 데이터 소스의 실시간 인덱싱을 가능하게 하고 외부 벡터 DB나 캐시 없이 LLM을 통해 답변을 제공합니다.