netease-youdao/QAnything

해결하는 문제

QAnything은 사용자가 다양한 파일 형식을 업로드하고 해당 데이터를 기반으로 정확하고 빠른 답변을 받을 수 있게 해주는 로컬 지식 베이스 질의응답 시스템입니다. 대규모 데이터셋에서 발생하는 검색 성능 저하 문제를 구체적으로 해결하며, 데이터가 추가될수록 정확도가 안정적으로 유지되거나 향상되도록 보장합니다.

작동 방식

이 시스템은 대규모 데이터셋에서 높은 정확도를 유지하기 위해 2단계 검색 프로세스를 사용합니다:

1. 1단계 검색(임베딩): BCEmbedding을 사용하여 이중 언어 및 교차 언어 의미 표현을 통해 관련 문서를 찾습니다.
2. 2단계 검색(재순위 지정): 단일 단계 RAG 시스템에서 일반적으로 나타나는 성능 저하를 방지하고 가장 관련성이 높은 정보가 노출되도록 결과를 개선합니다.

QwenLM을 기반으로 하며 전문 QA 데이터셋으로 미세 조정되었고, OpenAI 호환 API(Ollama 포함)를 통해 다른 LLM과의 통합을 지원합니다.

대상 사용자

높은 데이터 보안(완전한 오프라인 사용 지원)이 필요하고, 다양한 파일 유형(PDF, Word, PPT, XLSX, Markdown 등)을 처리해야 하며, Windows, Mac, Linux의 CPU 전용 환경에서 실행할 수 있는 하드웨어 친화적인 배포를 원하는 사용자 및 조직을 위해 설계되었습니다.

주요 특징

• 높은 데이터 보안: 완전한 오프라인 설치 및 사용을 지원합니다.
• 교차 언어 지원: 쿼리와 소스 파일 모두에 대해 중국어와 영어 간 전환을 지원합니다.
• 2단계 검색: 임베딩과 재순위 지정을 활용하여 대규모 지식 베이스에서 SOTA 성능을 보장합니다.
• 폭넓은 포맷 지원: PDF, Word, PPT, XLSX, Markdown, 이메일, TXT, 이미지, CSV 및 웹 링크를 파싱합니다.
• 하드웨어 친화적: 기본적으로 CPU 전용 작동으로 설정되며 원클릭 Docker Compose 배포를 제공합니다.