LearningCircuit/local-deep-research

해결하는 문제

로컬 딥 리서치(LDR)는 AI 리서치 어시스턴트의 중앙 집중형 제공자에 대한 의존을 피할 수 있는, 개인 정보 보호가 보장된 자체 호스팅 대안을 제공합니다. 사용자는 민감한 데이터를 중앙 집중형 AI 제공자에게 전송하지 않고도 웹, 학술 논문, 개인 문서를 통해 깊이 있는 자율 리서치를 수행할 수 있으며, 모든 발견이 적절한 인용을 기반으로 함을 보장합니다.

작동 방식

LDR는 Ollama 또는 OpenAI 호환 엔드포인트를 통한 LLM과 다양한 검색 엔진(SearXNG, arXiv, PubMed 등)을 결합하여 리서치 프로세스를 자동화합니다. 주로 두 가지 전략을 제공합니다:

• 파이프라인 모드: 빠른 사실 확인과 빠른 요약에 적합합니다.
• LangGraph 에이전트 전략: 어떤 전문 검색 엔진을 사용할지, 정보를 통합할 시점을 자율적으로 결정하는 에이전트로, 더 복잡한 분석과 높은 정확도를 가능하게 합니다.

사용자는 소스를 암호화된 라이브러리에 다운로드하여 로컬 지식 기반을 구축할 수 있으며, LDR은 이를 인덱싱하고 임베딩하여 리서치 세션 중에 검색 기반 생성(RAG)에 활용합니다.

대상 사용자

• 개인 정보를 중시하는 연구자 : 텔레메트리나 추적 없이 깊이 있는 분석이 필요할 때.
• 학술 및 기술 전문가 : 신뢰할 수 있는 출처에서 인용된 정확한 결과가 필요한 경우.
• 개발자 : REST API를 통해 자율 리서치 기능을 자체 애플리케이션에 통합하고자 할 때.

주요 기능

• 완전한 로컬 실행: RTX 3090 하나로 로컬 LLM을 사용해 완전히 로컬에서 실행 가능.
• 암호화된 데이터: 각 사용자 데이터베이스와 API 키에 SQLCipher와 AES-256 암호화 사용.
• 자율 리서치: 발견에 따라 검색 엔진을 자동으로 전환하는 적응형 검색 전략.
• 포괄적인 소스 통합: 학술 검색 엔진(arXiv, PubMed), 일반 웹 검색(SearXNG), 로컬 문서 인덱싱 지원.
• 저널 품질 시스템: OpenAlex와 DOAJ를 사용해 저널 신뢰도를 자동 평가하고 악성 저널을 탐지.
• 지식 기반 구축: 소스를 다운로드하고 인덱싱하여 축적되고 검색 가능한 개인 라이브러리를 구축 가능.