felladrin/MiniSearch

MiniSearch – 직접 실행할 수 있는 프라이빗 AI 기반 웹 검색

하는 일

• 일반 웹 검색 결과에 AI 어시스턴트를 추가하는 자체 호스팅 검색 엔진입니다.
• 검색 백엔드는 번들로 포함된 SearXNG 메타검색 인스턴스로, 여러 공개 검색 엔진에서 결과를 가져옵니다.
• 이러한 결과는 소형 크로스 인코더 모델(ONNX Runtime)로 로컬에서 재순위화된 후, 출처를 인용한 간결한 답변을 생성하는 AI 모델에 입력됩니다.
• 모든 AI 추론은 브라우저 내(WebGPU 또는 CPU)에서 또는 지정한 모든 OpenAI 호환 API(Ollama, LM Studio, vLLM, llama.cpp, AI Horde 등)를 통해 수행할 수 있습니다.
• UI는 기록, 캐시, 분석 데이터를 브라우저의 IndexedDB에 저장하므로, 원격 API를 활성화하지 않는 한 어떤 데이터도 사용자의 컴퓨터를 떠나지 않습니다.

왜 중요한가

• 쿼리를 비공개로 유지합니다: 텔레메트리 없음, 계정 없음, 그리고 전체 스택을 자신의 하드웨어에서 Docker 컨테이너로 실행할 수 있습니다.
• 사용자의 데이터를 보는 제3자 서비스에 의존하지 않고 현대적인 “답변이 있는 검색” 경험의 편리함을 제공합니다.
• 유연한 배포: Docker 이미지, Docker‑Compose 또는 Hugging Face Space, 그리고 브라우저 기본 검색 엔진으로 설정할 수 있습니다.

시작하는 방법

1. Docker 이미지 실행

   docker run -p 7860:7860 ghcr.io/felladrin/minisearch
   

   그런 다음 브라우저에서 http://localhost:7860을 엽니다.
2. (선택) 재현 가능한 빌드를 위해 특정 이미지 digest를 고정하거나, README에 표시된 Docker‑Compose를 사용합니다.
3. (선택) 제공된 docker-compose.production.yml로 소스에서 빌드합니다.
4. (선택) Hugging Face Space를 복제하여 클라우드 없는 인스턴스를 호스팅합니다.

주요 기술 요소

• 브라우저 AI: 135 M에서 4 B 파라미터의 모델을 한 번 다운로드하고 캐시합니다. 추론은 가능한 경우 WebGPU에서, 그렇지 않으면 CPU에서 실행됩니다.
• 재순위화: 크로스 인코더 모델이 컨테이너 내부의 ONNX Runtime을 통해 실행되어 SearXNG 결과가 UI에 도달하기 전에 순서를 바꿉니다.
• 인용이 풍부한 답변: 어시스턴트는 원래 검색 결과에 대한 인라인 인용을 포함하는 응답을 생성하며, 모델의 추론을 요청하거나 답변을 소리 내어 읽게 할 수 있습니다.
• 확장 가능한 백엔드: “AI Processing Location”을 원격 OpenAI 호환 엔드포인트로 지정하여 로컬에 다운로드하지 않고 더 큰 모델을 사용할 수 있습니다.

사용할 수 있는 사람

• 빅테크에 데이터를 보내지 않고 답변형 검색을 원하는 프라이버시 의식이 높은 사용자.
• 실험을 위해 샌드박스화된 AI 강화 검색이 필요한 개발자나 연구자.
• 내부 도구나 인트라넷에 프라이빗 검색 어시스턴트를 포함하려는 팀.

라이선스

• Apache 2.0 – 자유롭게 사용, 수정, 배포할 수 있습니다.