michaelthwan/searchGPT

Grounded search engine (i.e. with source reference) based on LLM / ChatGPT / OpenAI API. It supports web search, file content search etc.

해결하는 문제

searchGPT는 모델의 답변을 실시간 사실 정보에 기반하게 함으로써 LLM의 환각 현상을 방지하는 방법을 제공합니다. 이는 표준 LLM을 새로운 Bing의 기능과 유사하게 특정 출처가 뒷받침하는 자연어 답변을 제공하는 검색 엔진으로 변환합니다.

작동 원리

이 시스템은 Azure Bing Search API를 통한 실시간 인터넷과 로컬 파일(PPT, DOC, DOCX 등)이라는 두 가지 주요 소스에서 정보를 검색합니다. OpenAI embeddings를 사용한 시맨틱 검색을 통해 해당 소스 내에서 관련성 높은 콘텐츠를 찾습니다. 검색된 정보는 LLM(OpenAI 또는 GooseAI 등)에 입력되어 제공된 컨텍스트를 기반으로 근거 있는 사실적 답변을 생성합니다.

대상 사용자

웹 검색과 문서 검색을 결합하고 LLM이 생성한 요약을 제공하는 그라운디드 검색 엔진의 최소 구현을 구축하거나 배포하려는 개발자 및 사용자.

주요 특징

이중 소스 그라운딩: 실시간 웹 검색 결과와 로컬 파일 콘텐츠 검색을 결합합니다.
시맨틱 검색: embeddings를 사용하여 소스에서 가장 관련성 높은 정보를 검색합니다.
LLM 통합: OpenAI 및 GooseAI를 포함한 여러 공급자를 지원합니다.
직관적인 인터페이스: 상호 작용이 쉬운 내장 프론트엔드 웹 애플리케이션이 포함되어 있습니다.