llm-app: 무엇인지, 어떤 문제를 해결하며, 왜 인기를 얻고 있는지

해결하는 문제

Pathway AI Pipelines는 고정밀 RAG (Retrieval-Augmented Generation) 및 엔터프라이즈 검색 애플리케이션을 대규모로 신속하게 배포할 수 있는 방법을 제공합니다. 실시간 데이터 소스와 자동으로 동기화함으로써 AI 애플리케이션을 최신 상태로 유지하는 문제를 해결하며, 벡터 데이터베이스, 캐시 및 API 프레임워크를 위한 별도의 인프라가 필요하지 않도록 합니다.

작동 방식

이 프레임워크는 Pathway Live Data Framework (Rust 엔진을 탑재한 Python 라이브러리)를 사용하여 Google Drive, S3, Kafka, PostgreSQL, 로컬 파일 시스템과 같은 소스로부터 데이터를 동기화합니다. 내장된 인메모리 인덱싱(벡터 검색을 위한 usearch 및 전체 텍스트 검색을 위한 Tantivy 사용)을 포함하는 즉시 배포 가능한 템플릿을 제공합니다. 이러한 파이프라인은 Docker 컨테이너로 실행할 수 있으며 프론트엔드 통합을 위한 HTTP API를 노출합니다.

대상 사용자

실시간 데이터 동기화와 최소한의 인프라 오버헤드가 필요한 RAG 애플리케이션을 구축하고 확장하려는 개발자와 기업.

주요 특징

• 실시간 데이터 동기화: 다양한 클라우드 및 온프레미스 데이터 소스로부터의 추가, 삭제 및 업데이트를 자동으로 처리합니다.
• 통합 스택: 데이터 인덱싱, 검색 및 LLM 로직을 단일 프레임워크로 결합하여 외부 벡터 DB 또는 캐시의 필요성을 제거합니다.
• 다양한 템플릿: 기본 QA RAG, 멀티모달 RAG (GPT-4o 사용), 프라이빗 로컬 RAG (Ollama를 통해), 그리고 비정형-to-SQL 파이프라인을 위한 템플릿을 포함합니다.
• 확장성: 수백만 페이지의 문서로 확장할 수 있습니다.