vespaai-playground/NyRAG

해결하는 문제

NyRAG은 검색 증강 생성(RAG) 애플리케이션을 구축하는 과정을 간소화합니다. 웹사이트 및 문서용 데이터 인제스트 파이프라인을 수동으로 설정하는 복잡성, 검색 인프라를 배포하는 과정, 그리고 해당 데이터와 상호작용할 수 있는 챗 인터페이스를 구축하는 번거로움을 제거합니다.

작동 방식

NyRAG은 포괄적인 답변을 보장하기 위해 다단계 검색 프로세스를 사용합니다:

1. 질의 강화: LLM이 사용자 질문에서 여러 검색 질의를 생성하여 커버리지를 향상시킵니다.
2. 임베딩 생성: 이 질의들은 SentenceTransformer 모델을 사용해 임베딩으로 변환됩니다.
3. Vespa 검색: 도구는 Vespa 배포에 대해 근접 이웃 검색을 수행하여 가장 관련성 높은 문서 청크를 찾습니다.
4. 청크 융합: 결과를 집계하고 중복 제거 및 순위 매기기를 통해 상위-k 청크를 선택합니다.
5. 답변 생성: LLM은 검색된 컨텍스트에 기반해 근거 있는 답변을 생성합니다.

대상 사용자

자체 문서나 웹사이트 콘텐츠를 사용해 RAG 시스템을 빠르게 배포하고자 하는 개발자 및 사용자. Docker를 통한 로컬 배포와 클라우드 기반 Vespa 배포 모두 지원합니다.

주요 특징

• 통합 UI: 데이터 처리에서 채팅까지 전체 라이프사이클을 관리할 수 있는 웹 기반 인터페이스.
• 유연한 데이터 인제스트: 웹사이트 크롤링 또는 로컬 문서 디렉터리 처리를 내장 지원.
• 광범위한 LLM 호환성: OpenAI 호환 API를 지원하며, Ollama, LM Studio, vLLM과 같은 로컬 제공자 또는 OpenRouter, OpenAI와 같은 클라우드 서비스와도 호환됩니다.
• 하이브리드 검색: 효율적이고 고성능 검색을 위한 Vespa 활용.