pathwaycom/llm-app

Ready-to-run cloud templates for RAG, AI pipelines, and enterprise search with live data. 🐳Docker-friendly.⚡Always in sync with Sharepoint, Google Drive, S3, Kafka, PostgreSQL, real-time data APIs, and more.

What it solves

Pathway AI Pipelines 提供了一種快速部署高精度 RAG（檢索增強生成）與企業搜尋應用的方式，且可在大規模環境下運行。它解決了 AI 應用保持最新的問題，透過自動與即時資料來源同步，免除為向量資料庫、快取與 API 框架另行建置基礎設施的需求。

How it works

此框架使用 Pathway Live Data Framework（Python 套件搭配 Rust 引擎）來同步來自 Google Drive、S3、Kafka、PostgreSQL 與本機檔案系統等來源的資料。它提供即時可部署的範本，內建記憶體索引（使用 usearch 進行向量搜尋，使用 Tantivy 進行全文搜尋）。這些管線可作為 Docker 容器執行，並公開 HTTP API 供前端整合。

Who it’s for

開發者與企業想要建置與擴展需要即時資料同步且基礎設施負擔最小的 RAG 應用。

Highlights

  • Live Data Sync：自動處理來自各種雲端與本地資料來源的新增、刪除與更新。
  • Integrated Stack：將資料索引、檢索與 LLM 邏輯整合於同一框架，省去外部向量資料庫或快取的需求。
  • Diverse Templates：提供基本 QA RAG、使用 GPT-4o 的多模態 RAG、透過 Ollama 的私有本地 RAG，以及非結構化資料轉 SQL 的管線範本。
  • Scalability：可擴展至上百萬頁文件。