pathwaycom/serviette

A no-code RAG server that keeps answers in sync with your documents. Works with 8 vector databases. Built on Pathway.

这是什么

Pathway Live Data Framework AI Pipelines 是一组即用型应用模板,可让您在实时数据源(文件、Google Drive、SharePoint、S3、Kafka、PostgreSQL 等)之上构建**检索增强生成(RAG)**服务。每个模板都捆绑了数据摄取、向量/混合索引、LLM 调用和 HTTP API(可选 Streamlit UI)的代码。繁重的工作由开源 Pathway 库完成,该库实时同步数据,并提供内存向量存储(通过 usearch)和全文索引(通过 Tantivy)。

为什么重要

  • 实时更新 – 添加、删除或更改的文档会自动重新索引,因此 RAG 系统始终基于最新知识进行回答。
  • 一体化栈 – 无需配置外部向量数据库、缓存或 API 框架;Pathway 提供内置向量索引和 FastAPI 服务器。
  • 可扩展模板 – 示例声称可处理数百万页,并支持多模态输入(PDF 表格、幻灯片、视频字幕),同时保持低延迟。
  • 灵活性 – 您可以更换数据源、更改索引类型,或通过单行更改替换 LLM。

谁应该使用

  • 产品团队 – 需要快速原型企业搜索或文档问答服务,而无需连接各个独立组件。
  • 数据工程师 – 希望获得可复现的管道,持续将企业数据摄取到可搜索的向量存储中。
  • 开发者 – 寻找 RAG 模式(自适应 RAG、多模态 RAG、非结构化到 SQL)的参考实现,可在本地运行或部署到云/本地。

如何开始

  1. 克隆仓库,并在 templates/ 下选择一个模板文件夹(例如 question_answering_rag)。
  2. 按照模板的 README.md 操作 – 通常只需一行命令即可构建 Docker 镜像并运行,可选启动 Streamlit UI。
  3. 通过环境变量配置数据源(本地文件夹、Google Drive、S3 等)和您想使用的 LLM(OpenAI GPT-3/4、通过 Ollama 的 Mistral 等)。
  4. 容器启动 FastAPI 服务器,暴露 /query(或类似端点),如果包含,还提供 Streamlit 前端用于交互式测试。
  5. 对于生产环境,将 Docker 镜像推送到您的云注册表,并在 GCP、AWS、Azure、Render 或本地运行。

内部内容

模板 核心用例 亮点
问答 RAG 对 PDF/DOCX 进行简单文档问答 实时同步、任意 LLM、演示 REST 端点
实时文档索引 向量存储即服务 可用作 LangChain 或 LlamaIndex 的后端
多模态 RAG(GPT-4o) 从 PDF 中提取表格/图表并索引 使用 GPT-4o 进行解析,处理图表和表格
非结构化到 SQL 将金融 PDF 转换为 SQL 表,并通过生成的查询进行回答
自适应 RAG 将 token 使用量减少高达 4 倍,同时保持准确性
私有 RAG(Mistral + Ollama) 完全本地栈,无外部 API 调用
幻灯片 AI 搜索 索引 PowerPoint 和 PDF 幻灯片,多模态检索
视频 RAG(TwelveLabs) 将视频转换为丰富文本,使用 Marengo 嵌入,查询视频内容

社区与支持

  • Discord 频道获取帮助(discord.gg/pathway)。
  • 问题提交在主要 Pathway 仓库(github.com/pathwaycom/pathway)。
  • 官方文档和更多模板列在 Pathway 网站上。

TL;DR – 此仓库提供基于 Pathway Live Data Framework 的 Docker 就绪 RAG 应用模板,支持实时索引多种数据源,并通过 LLM 提供答案,无需外部向量数据库或缓存。

相关

  • 项目
  • 项目
  • 项目
  • 项目