PromtEngineer/localGPT

해결하는 문제

LocalGPT는 사용자가 자신의 파일에 대해 쿼리하고 요약하며 통찰을 추출할 수 있는 사내형, 온프레미스 문서 인텔리전스 플랫폼입니다. 데이터는 로컬 머신에서 한 번도 빠져나가지 않습니다. 클라우드 기반 AI와 관련된 개인정보 보호 문제를 해결하기 위해 완전히 로컬인 RAG(Retrieval-Augmented Generation) 시스템을 제공합니다.

작동 방식

LocalGPT는 고급 검색 기술을 결합한 모듈식 아키텍처를 사용하여 고품질의 답변을 보장합니다.

• 하이브리드 검색: 밀도 벡터 검색과 풀텍스트 검색을 Reciprocal Rank Fusion (RRF)을 사용해 융합합니다.
• 스마트 라우팅: 쿼리가 RAG(문서 검색)이 필요한지, 아니면 LLM이 직접 답변할 수 있는지 라우터가 결정합니다.
• 쿼리 분해: 복잡한 질문은 하위 질문으로 분할되어 검색된 후 최종 답변으로 통합됩니다.
• 재정렬: 크로스엔코더 재정렬기가 후보 집합을 정제하여 가장 관련성 높은 콘텐츠를 선별합니다.
• 문서 처리: PDF, DOCX, HTML, Markdown, TXT 파일을 파싱하는 데 Docling을 사용하며, 텍스트가 없는 PDF에는 OCR 후속 조치를 제공합니다.
• 로컬 모델 실행: 생성 및 유틸리티 모델에 대해 Ollama와 통합하고, 임베딩 및 재정렬 모델에는 HuggingFace를 활용합니다.

대상 사용자

개인 또는 조직이 AI를 사용해 자신의 사내 문서와 상호작용하면서도 100% 데이터 보안과 프라이버시를 유지하고자 하는 경우에 적합합니다.

주요 특징

• 최고의 프라이버시: 100% 온프레미스 실행; 데이터는 결코 기계를 떠나지 않습니다.
• 고급 검색 기능: 하이브리드 검색, 조정된 재정렬, 선택적 레이트 청킹 및 문장 정리 기능을 제공합니다.
• 다양한 모델 지원: Ollama를 통해 생성 모델을 쉽게 교체하고, HuggingFace에서 임베딩 모델을 사용할 수 있습니다.
• 개발자 친화적: 백엔드 및 RAG 코어용 RESTful API를 제공하여 사용자 정의 애플리케이션 개발이 가능합니다.
• 현대적인 인터페이스: 인덱스 및 세션 관리용 반응형 웹 UI를 포함하며, 리트리ieval 프로세스의 실시간 스트리밍을 지원합니다.