jonfairbanks/local-rag

Ingest files for retrieval augmented generation (RAG) with open-source Large Language Models (LLMs), all without 3rd parties or sensitive data leaving your network.

What it solves

완전히 오프라인에서 검색 강화 생성(RAG)을 수행할 수 있는 방법을 제공합니다. 이를 통해 채팅 기록, 임베딩 및 인덱싱된 소스 콘텐츠가 사용자의 머신이나 네트워크에 남아 외부 클라우드 서비스로 데이터를 전송할 필요가 없습니다.

How it works

시스템은 LlamaIndex를 사용해 스트리밍 RAG 응답을 제공하고, 로컬 Ollama 모델과 통합하여 채팅 및 임베딩 생성을 모두 수행합니다. 로컬 파일, GitHub 리포지토리, 웹사이트 등 다양한 소스에서 데이터를 수집하고 검색을 위해 인덱싱합니다.

Who it’s for

클라우드 기반 AI에 의존하지 않고 자체 하드웨어에서 개인용 오픈소스 RAG 시스템을 운영하며, 자신의 문서와 데이터를 상호작용하고자 하는 사용자들을 위한 것입니다.

Highlights

  • 로컬 Ollama 채팅 및 Hugging Face 임베딩 모델
  • 다중 수집 소스 지원: 로컬 파일, GitHub 리포지토리, 웹사이트
  • LlamaIndex를 통한 스트리밍 응답
  • 브라우저 로컬 설정 영구 저장
  • 채팅 기록 내보내기
  • 업로드, URL 및 리포지토리 수집을 위한 내장 가드레일