neonwatty/meme-search

해결하는 문제

Meme Search는 로컬 라이브러리에서 미모를 정리하고 검색하기 위한 자체 호스팅 검색 엔진입니다. 대규모 컬렉션 내에서 특정 이미지를 찾는 문제를 AI를 사용해 미모의 시각적 콘텐츠와 텍스트를 기반으로 인덱싱함으로써 해결합니다. 이를 통해 의미적(벡터 기반) 및 키워드 검색이 모두 가능해집니다.

작동 방식

시스템은 이미지에서 텍스트로 변환하는 모델의 조합을 사용하여 미모에 대한 설명을 생성합니다. 이러한 설명은 pgvector 확장 기능을 갖춘 PostgreSQL 데이터베이스에 벡터 임베딩으로 저장되어 빠른 의미적 검색을 가능하게 합니다.

사용자는 내장된 Python 서비스와 Florence-2, SmolVLM, Moondream2 등의 모델을 사용해 로컬 추론을 선택하거나, 외부 OpenAI 호환 비전 API를 사용할 수 있습니다. 애플리케이션은 미모 업로드, 태그 지정, 관리용 웹 인터페이스를 제공하며, 제3자 통합을 위한 읽기 전용 Search API도 포함합니다.

대상 사용자

대규모 개인 미모 컬렉션을 관리하고, 클라우드 서비스에 의존하지 않고 사생활 보호를 위해 자체 호스팅 방식으로 인덱싱하고 검색하고 싶은 사용자에게 적합합니다.

주요 특징

• 유연한 AI 모델: 다양한 크기의 오픈소스 비전-언어 모델(VLM)을 지원하여 로컬 설명 생성이 가능합니다.
• 크로스모달리티 검색: 키워드 검색과 벡터 기반 의미적 검색을 결합해 높은 정밀도를 제공합니다.
• 자체 호스팅 및 프라이버시: 처리를 완전히 로컬에서 수행할 수 있어 임베딩과 검색을 로컬에 유지할 수 있습니다.
• 통합 준비 완료: 토큰 인증 Search API, Python CLI, 실험적 브라우저 확장 기능을 포함합니다.
• 조직화 도구: 대량 설명 생성, 수동 편집, 태그 지정, 디렉터리 재스캔을 통해 새 파일을 탐지할 수 있습니다.