BBC-Esq/VectorDB-Plugin

Program that lets you ask questions about your documents, audio, and video files.

它解决了什么问题

此项目提供了一种从各种文件类型创建本地向量数据库的方法，允许用户与自己的文档、图像和音频文件对话，通过检索增强生成（RAG）获得更可靠的 LLM 响应。

它如何工作

系统通过以下管道处理输入：

  1. 摄取：接受广泛的格式，包括文档（.pdf、.docx、.txt、.html、.md、.csv、.xlsx、.rtf、.eml、.msg）、图像（.png、.jpg、.jpeg、.bmp、.gif、.tif、.tiff）以及音频文件（.mp3、.wav、.m4a、.ogg、.wma、.flac）。
  2. 处理：从文档中提取文本，为图像生成描述，并将音频文件转写为文字。
  3. 存储：将处理后的内容嵌入向量并保存到向量数据库，以实现高效搜索。
  4. 检索与生成：当用户通过文字或语音提问时，系统会从向量数据库检索相关信息块，并将其发送给 LLM（如本地模型、Kobold、LM Studio 或 ChatGPT）生成有依据的答案。

适用人群

想在 Windows 上从多模态数据（文本、图像、音频）构建本地知识库，并用于增强 LLM 查询的用户。

亮点

  • 多模态摄取：支持大量文档、图像和音频格式。
  • 灵活的 LLM 集成：兼容本地模型、Kobold、LM Studio 与 ChatGPT。
  • 语音交互：支持语音提问和文字转语音回复。
  • 基于 GUI：提供图形用户界面，便于管理。