pathwaycom/llm-app

What it solves

這項專案的目的是提供一組設計用於大規模、高精度 RAG (Retrieval-Augmented Generation) 與企業級搜尋的即插即用 AI 應用程式模板。它透過將這些組件整合進一個統一的流水線中，解決了維護複雜基礎設施依賴項（例如：獨立的向量資料庫、快取與 API 框架）的問題。

How it works

這些流水線是基於 Pathway Live Data Framework 構建的，該框架可以處理與 Google Drive、S3、Kafka 與 PostgreSQL 等數據源的即時同步。系統使用內建的記憶體內索引（透過 usearch 進行向量搜尋與 Tantivy 進行全文搜尋）來實現混合搜尋能力。這些應用程式可以部署為 Docker 容器，並提供 HTTP API 以供前端連接，部分模板包含一個 Streamlit UI 用於測試。

Who it's for

尋求快速部署生產級 RAG 應用程式的開發者與企業，這些應用程式能與即時數據源保持同步，並能擴展至數百萬頁的文件內容。

Highlights

• Live Data Sync: 自動同步來自各種文件系統與雲端儲存的新增、刪除與更新。
• Canned Templates: 包含專為多模態 RAG (GPT-4o)、影片 RAG (TwelveLabs) 與非結構化轉 SQL 的專用流水線。
• Infrastructure-less: 透過使用內建的記憶體內索引，消除了對外部向量資料庫或 Redis 快取的需求。
• LlamaIndex/LangChain Integration: 可作為現有 LLM 框架的檢索器後端。
• Adaptive RAG: 具備一種能在維持精度的同時，將 Token 成本降低至多 4 倍的技術。