tonykipkemboi/ollama_pdf_rag

A full-stack demo showcasing a local RAG (Retrieval Augmented Generation) pipeline to chat with your PDFs.

What it solves

사용자가 PDF 문서와 완전히 로컬에서 채팅할 수 있게 하여 민감한 데이터가 머신을 떠나지 않도록 합니다. 개인 또는 기업 문서에 대해 Retrieval Augmented Generation(RAG)을 수행하기 위해 비용이 많이 들거나 프라이버시를 침해할 수 있는 클라우드 서비스를 사용할 필요가 있는 문제를 해결합니다.

How it works

이 애플리케이션은 LangChain과 ChromaDB가 구동하는 파이프라인을 사용해 PDF를 벡터 임베딩으로 변환합니다. Ollama와 통합하여 로컬에서 대형 언어 모델(LLM) 및 임베딩 모델을 실행합니다. 사용자는 Next.js 웹 인터페이스, Streamlit 앱, 또는 FastAPI REST API를 통해 시스템과 상호 작용할 수 있으며, 문서 업로드, 인덱싱, 쿼리 처리를 담당합니다.

Who it’s for

이 도구는 문서 분석을 위한 개인적인 로컬 AI 어시스턴트를 원하는 사용자와 Ollama와 LangChain을 이용한 로컬 RAG 파이프라인의 레퍼런스 구현을 찾는 개발자를 위해 설계되었습니다.

Highlights

  • 100% Local Processing: No data is sent to external servers.
  • Multiple Interfaces: Offers a modern Next.js frontend, a classic Streamlit UI, and a programmatic REST API.
  • Multi-PDF Support: Ability to upload and query across multiple documents simultaneously.
  • Advanced Retrieval: Features multi-query RAG with source citations and visibility into the AI's reasoning steps.