jonfairbanks/local-rag

Ingest files for retrieval augmented generation (RAG) with open-source Large Language Models (LLMs), all without 3rd parties or sensitive data leaving your network.

What it solves

它提供了一种完全离线执行检索增强生成（RAG）的方法。这确保了聊天历史、嵌入和已索引的源内容保留在用户自己的机器或网络上，避免将数据发送到外部云服务。

How it works

系统使用 LlamaIndex 来流式生成 RAG 响应，并与本地 Ollama 模型集成，以实现聊天和嵌入生成。它允许用户从各种来源摄取数据，包括本地文件、GitHub 仓库和网站，然后对这些数据进行索引以供检索。

Who it’s for

想在自己的硬件上运行私有、开源的 RAG 系统，与自己的文档和数据交互，而不依赖云端 AI 的用户。

Highlights

  • 本地 Ollama 聊天和 Hugging Face 嵌入模型
  • 支持多种摄取来源：本地文件、GitHub 仓库和网站
  • 通过 LlamaIndex 实现流式响应
  • 浏览器本地设置持久化
  • 聊天历史导出
  • 内置上传、URL 和仓库摄取的防护机制