pathwaycom/serviette
A no-code RAG server that keeps answers in sync with your documents. Works with 8 vector databases. Built on Pathway.
这是什么
Pathway Live Data Framework AI Pipelines 是一组即用型应用模板,可让您在实时数据源(文件、Google Drive、SharePoint、S3、Kafka、PostgreSQL 等)之上构建**检索增强生成(RAG)**服务。每个模板都捆绑了数据摄取、向量/混合索引、LLM 调用和 HTTP API(可选 Streamlit UI)的代码。繁重的工作由开源 Pathway 库完成,该库实时同步数据,并提供内存向量存储(通过 usearch)和全文索引(通过 Tantivy)。
为什么重要
- 实时更新 – 添加、删除或更改的文档会自动重新索引,因此 RAG 系统始终基于最新知识进行回答。
- 一体化栈 – 无需配置外部向量数据库、缓存或 API 框架;Pathway 提供内置向量索引和 FastAPI 服务器。
- 可扩展模板 – 示例声称可处理数百万页,并支持多模态输入(PDF 表格、幻灯片、视频字幕),同时保持低延迟。
- 灵活性 – 您可以更换数据源、更改索引类型,或通过单行更改替换 LLM。
谁应该使用
- 产品团队 – 需要快速原型企业搜索或文档问答服务,而无需连接各个独立组件。
- 数据工程师 – 希望获得可复现的管道,持续将企业数据摄取到可搜索的向量存储中。
- 开发者 – 寻找 RAG 模式(自适应 RAG、多模态 RAG、非结构化到 SQL)的参考实现,可在本地运行或部署到云/本地。
如何开始
- 克隆仓库,并在
templates/下选择一个模板文件夹(例如question_answering_rag)。 - 按照模板的
README.md操作 – 通常只需一行命令即可构建 Docker 镜像并运行,可选启动 Streamlit UI。 - 通过环境变量配置数据源(本地文件夹、Google Drive、S3 等)和您想使用的 LLM(OpenAI GPT-3/4、通过 Ollama 的 Mistral 等)。
- 容器启动 FastAPI 服务器,暴露
/query(或类似端点),如果包含,还提供 Streamlit 前端用于交互式测试。 - 对于生产环境,将 Docker 镜像推送到您的云注册表,并在 GCP、AWS、Azure、Render 或本地运行。
内部内容
| 模板 | 核心用例 | 亮点 |
|---|---|---|
| 问答 RAG | 对 PDF/DOCX 进行简单文档问答 | 实时同步、任意 LLM、演示 REST 端点 |
| 实时文档索引 | 向量存储即服务 | 可用作 LangChain 或 LlamaIndex 的后端 |
| 多模态 RAG(GPT-4o) | 从 PDF 中提取表格/图表并索引 | 使用 GPT-4o 进行解析,处理图表和表格 |
| 非结构化到 SQL | 将金融 PDF 转换为 SQL 表,并通过生成的查询进行回答 | |
| 自适应 RAG | 将 token 使用量减少高达 4 倍,同时保持准确性 | |
| 私有 RAG(Mistral + Ollama) | 完全本地栈,无外部 API 调用 | |
| 幻灯片 AI 搜索 | 索引 PowerPoint 和 PDF 幻灯片,多模态检索 | |
| 视频 RAG(TwelveLabs) | 将视频转换为丰富文本,使用 Marengo 嵌入,查询视频内容 |
社区与支持
- Discord 频道获取帮助(
discord.gg/pathway)。 - 问题提交在主要 Pathway 仓库(
github.com/pathwaycom/pathway)。 - 官方文档和更多模板列在 Pathway 网站上。
TL;DR – 此仓库提供基于 Pathway Live Data Framework 的 Docker 就绪 RAG 应用模板,支持实时索引多种数据源,并通过 LLM 提供答案,无需外部向量数据库或缓存。
相关
- 项目
- 项目
- 项目
- 项目