jonfairbanks/local-rag

Ingest files for retrieval augmented generation (RAG) with open-source Large Language Models (LLMs), all without 3rd parties or sensitive data leaving your network.

What it solves

它提供了一種完全離線執行檢索增強生成（RAG）的方法。這確保了聊天歷史、嵌入和已索引的來源內容保留在使用者自己的機器或網路上，避免將資料傳送到外部雲端服務。

How it works

系統使用 LlamaIndex 來串流 RAG 回應，並與本地 Ollama 模型整合，以實現聊天與嵌入生成。它允許使用者從各種來源攝取資料，包括本地檔案、GitHub 倉庫和網站，然後對這些資料進行索引以供檢索。

Who it’s for

想在自己的硬體上運行私有、開源的 RAG 系統，與自己的文件與資料互動，而不依賴雲端 AI 的使用者。

Highlights

  • 本地 Ollama 聊天與 Hugging Face 嵌入模型
  • 支援多種攝取來源：本地檔案、GitHub 倉庫與網站
  • 透過 LlamaIndex 實現串流回應
  • 瀏覽器本地設定持久化
  • 聊天歷史匯出
  • 內建上傳、URL 與倉庫攝取的防護機制