netease-youdao/QAnything

解决的问题

QAnything 是一个本地知识库问答系统，允许用户上传各种文件格式，并根据该数据接收准确、快速的答案。它专门解决大规模数据集中的检索退化问题，确保在添加更多数据时，准确性保持稳定或有所提升。

工作原理

该系统使用两阶段检索流程，以在海量数据集中保持高准确度：

1. 第一阶段检索（嵌入）： 使用 BCEmbedding 进行双语和跨语言语义表示，以查找相关文档。
2. 第二阶段检索（重排）： 优化结果以确保呈现最相关的信息，防止单阶段 RAG 系统中常见的性能下降。

它基于 QwenLM，在专业问答数据集上进行了微调，并支持通过兼容 OpenAI 的 API（包括 Ollama）与其他 LLM 集成。

适用人群

专为需要高数据安全性（支持完全离线使用）、需要处理多种文件类型（PDF、Word、PPT、XLSX、Markdown 等），以及希望进行硬件友好部署，能够在 Windows、Mac 和 Linux 上的纯 CPU 环境中运行的用户和组织而设计。

亮点

• 高数据安全性： 支持完全离线安装和使用。
• 跨语言支持： 支持在查询和源文件的中英文之间切换。
• 两阶段检索： 利用嵌入和重排，确保在大规模知识库上实现 SOTA 性能。
• 广泛的格式支持： 解析 PDF、Word、PPT、XLSX、Markdown、电子邮件、TXT、图片、CSV 和网页链接。
• 硬件友好： 默认为纯 CPU 运行，并提供一键 Docker Compose 部署。