finic-ai/rag-stack

🤖 Deploy a private ChatGPT alternative hosted within your VPC. 🔮 Connect it to your organization's knowledge base and use it as a corporate oracle. Supports open-source LLMs like Llama 2, Falcon, and GPT4All.

해결하는 문제

RAGstack은 조직이 자체 내부 지식 기반과 대화할 수 있도록 하는 ChatGPT의 셀프 호스팅 비공개 대안을 제공합니다. 검색 증강 생성(RAG)을 사용하여 외부 공용 AI 서비스에 의존하지 않고도 PDF나 내부 데이터 소스와 같은 문서를 쿼리할 수 있습니다.

작동 방식

이 프로젝트는 사용자 인터페이스와 서버를 벡터 데이터베이스 및 오픈 소스 LLM에 연결하는 오케스트레이션 계층 역할을 합니다. 문서 임베딩을 저장하고 검색하기 위해 Qdrant를 벡터 데이터베이스로 사용합니다. 사용자가 질문을 하면 시스템은 데이터베이스에서 관련 정보를 검색하여 LLM(Llama 2, Falcon, GPT4All 등)에 전달함으로써 문맥을 파악한 응답을 생성합니다.

대상 사용자

자신의 가상 프라이빗 클라우드(VPC) 또는 로컬 환경 내에 비공개적이고 안전한 AI 인프라를 배포해야 하며, 민감한 데이터를 확실하게 통제하려는 개발자와 조직을 위해 설계되었습니다.

주요 특징

Llama 2, Falcon-7b, GPT4All을 포함한 여러 오픈 소스 LLM 지원.
AWS, Google Cloud, Azure와 같은 주요 클라우드 제공업체를 위한 자동화된 배포 스크립트 포함.
고성능 셀프 호스팅 벡터 저장을 위해 Qdrant 사용.
PDF 문서 수집 및 채팅을 위한 즉시 사용 가능한 인터페이스 제공.