zilliztech/deep-searcher

해결하는 문제

DeepSearcher는 기업의 프라이빗 데이터에 대해 정확한 검색, 평가 및 추론을 수행하는 과제를 해결합니다. 조직이 내부 문서를 활용하면서 데이터 보안을 유지할 수 있도록 하여, 범용 LLM 지식에만 의존할 필요를 없애줍니다.

작동 방식

이 시스템은 대규모 언어 모델(LLM)과 벡터 데이터베이스(Milvus 또는 Zilliz Cloud 등)를 결합하여 검색 증강 생성(RAG) 파이프라인을 구축합니다. 사용자는 로컬 파일을 로드하거나 웹사이트를 크롤링하고, 지원되는 다양한 임베딩 모델을 사용하여 데이터를 벡터로 변환한 뒤 벡터 데이터베이스에 저장할 수 있습니다. 쿼리가 발생하면 시스템은 관련 프라이빗 데이터를 검색하고, 구성된 LLM을 사용하여 정확한 답변이나 포괄적인 보고서를 생성합니다.

대상 사용자

이 도구는 지식 관리에 집중하는 기업, 지능형 Q&A 시스템을 구축하는 개발자, 그리고 프라이빗 데이터셋에서 높은 정확도의 정보 검색이 필요한 모든 분들을 위해 설계되었습니다.

주요 특징

• 광범위한 모델 지원: OpenAI, DeepSeek, Claude, Gemini 및 Ollama를 통한 로컬 모델을 포함하여 다양한 LLM과 호환됩니다.
• 유연한 임베딩: OpenAI, VoyageAI 및 Pymilvus 내장 모델과 같은 수많은 임베딩 제공업체를 지원합니다.
• 엔터프라이즈급 스토리지: Milvus 및 Zilliz Cloud와 통합되어 효율적인 데이터 파티셔닝 및 검색을 제공합니다.
• 하이브리드 데이터 로딩: 로컬 파일에서 데이터를 로드하는 기능을 지원하며 웹 크롤링 기능이 통합되어 있습니다.