pathwaycom/llm-app

Ready-to-run cloud templates for RAG, AI pipelines, and enterprise search with live data. 🐳Docker-friendly.⚡Always in sync with Sharepoint, Google Drive, S3, Kafka, PostgreSQL, real-time data APIs, and more.

What it solves

Pathway AI Pipelines 提供了一种快速部署高精度 RAG（检索增强生成）和企业搜索应用的方式，并且可以在大规模环境下运行。它解决了 AI 应用保持最新的问题，通过自动与实时数据源同步，免除为向量数据库、缓存和 API 框架单独搭建基础设施的需求。

How it works

该框架使用 Pathway Live Data Framework（一个 Python 库配合 Rust 引擎）来同步来自 Google Drive、S3、Kafka、PostgreSQL 和本地文件系统等来源的数据。它提供即插即用的模板，内置内存索引（使用 usearch 进行向量搜索，使用 Tantivy 进行全文搜索）。这些流水线可以作为 Docker 容器运行，并暴露 HTTP API 供前端集成。

Who it’s for

开发者和企业希望构建并扩展需要实时数据同步且基础设施开销最小的 RAG 应用。

Highlights

  • Live Data Sync：自动处理来自各种云端和本地数据源的新增、删除和更新。
  • Integrated Stack：将数据索引、检索和 LLM 逻辑整合到同一框架，省去外部向量数据库或缓存的需求。
  • Diverse Templates：包括基础 QA RAG、多模态 RAG（使用 GPT-4o）、私有本地 RAG（通过 Ollama）以及非结构化转 SQL 的流水线模板。
  • Scalability：能够扩展到数百万页文档。