pathwaycom/llm-app

What it solves

本项目提供了一套专为大规模、高精度 RAG (Retrieval-Augmented Generation) 和企业级搜索设计的即插即用 AI 应用模板。它通过将这些组件集成到统一的流水线中，解决了维护复杂基础设施依赖项（如：独立的向量数据库、缓存和 API 框架）的问题。

How it works

这些流水线是基于 Pathway Live Data Framework 构建的，可以处理与 Google Drive、S3、Kafka 和 PostgreSQL 等数据源的实时同步。系统使用内置的内存中索引（通过 usearch 进行向量搜索和 Tantivy 进行全文搜索）来实现混合搜索能力。这些应用可以部署为 Docker 容器，并提供 HTTP API 用于前端连接，同时部分模板包含一个 Streamlit UI 用于测试。

Who it's for

寻求快速部署生产级 RAG 应用的开发者和企业，这些应用需要与实时数据源保持同步，并能扩展到数百万页文档。

Highlights

• Live Data Sync: 自动同步来自各种文件系统和云端存储的新增、删除和更新。

• Canned Templates: 包含专门用于多模态 RAG (GPT-4o)、视频 RAG (TwelveLabs) 和非结构化转 SQL 的专用流水线。

• Infrastructure-less: 通过使用内置的内存中索引，消除了对外部向量数据库或 Redis 缓存的需求。

• LlamaIndex/LangChain Integration: 可以作为现有 LLM 框架的检索器后端。

• Adaptive RAG: 具备一种能在保持精度的情况下，将 Token 成本降低高达 4 倍的技术。