tonykipkemboi/ollama_pdf_rag

A full-stack demo showcasing a local RAG (Retrieval Augmented Generation) pipeline to chat with your PDFs.

What it solves

它允許使用者在完全本地的環境下與 PDF 文件聊天，確保敏感資料永遠不會離開機器。此方案解決了必須使用昂貴或侵犯隱私的雲端服務來對個人或企業文件執行檢索增強生成（RAG）的問題。

How it works

此應用程式使用由 LangChain 與 ChromaDB 驅動的管線，將 PDF 轉換為向量嵌入。它與 Ollama 整合，在本地執行大型語言模型（LLM）與嵌入模型。使用者可透過 Next.js 網頁介面、Streamlit 應用程式或 FastAPI REST API 與系統互動，這些介面負責文件上傳、索引與查詢的流程。

Who it’s for

此工具設計給想要私密、本地 AI 助手來分析文件的使用者，同時也適合想要參考使用 Ollama 與 LangChain 建置本地 RAG 管線的開發者。

Highlights

  • 100% Local Processing: No data is sent to external servers.
  • Multiple Interfaces: Offers a modern Next.js frontend, a classic Streamlit UI, and a programmatic REST API.
  • Multi-PDF Support: Ability to upload and query across multiple documents simultaneously.
  • Advanced Retrieval: Features multi-query RAG with source citations and visibility into the AI's reasoning steps.