wangle201210/go-rag

해결하는 문제

검색 증강 생성(RAG)을 사용하여 개인 또는 조직의 지식 베이스를 구축하고 관리하기 위한 완전한 시스템을 제공합니다. 데이터를 문서화하고, 인덱싱하며, 자체 데이터와 채팅하는 과정을 단순화하여 LLM 응답이 업로드된 특정 문서에 기반하도록 보장합니다.

작동 방식

이 시스템은 Go 기반 백엔드(eino+gf)와 Vue 기반 프론트엔드를 사용합니다. 업로드된 문서(PDF, HTML, Markdown) 또는 웹 페이지를 처리하여 관리 가능한 청크로 분할한 후 Elasticsearch 8 또는 Qdrant와 같은 벡터 데이터베이스에 저장합니다. 정보 검색을 위해 멀티 패스 리콜을 사용하여 콘텐츠 벡터, QA 벡터 및 BM25 키워드 검색을 결합하고, LLM에 전달하기 전에 상호 역 랭크 융합(RRF)을 사용하여 결과를 재순위화합니다.

대상 사용자

여러 지식 베이스를 지원하고 문서 청크 관리 및 검색 테스트를 위한 GUI를 제공하는 셀프 호스팅 RAG 솔루션을 원하는 개발자와 사용자들을 위한 것입니다.

주요 특징

• 다양한 형식 지원: Markdown, PDF, HTML 파일 및 웹 페이지를 파싱합니다.
• 고급 검색: 벡터 검색과 키워드 검색(BM25)을 결합하고 RRF 재순위화를 통해 정확도를 높입니다.
• 지식 관리: 지식 베이스 생성, 문서 업로드 및 텍스트 청크 수동 편집을 위한 GUI를 포함합니다.
• 외부 통합: You.com을 통한 실시간 웹 검색을 지원하고 DeepChat과 같은 도구에서 사용하기 위해 모델 컨텍스트 프로토콜(MCP)과 통합됩니다.
• 유연한 저장소: 벡터 데이터 저장을 위해 Elasticsearch 8과 Qdrant 모두와 호환됩니다.