meme-search/meme-search

해결하는 문제

Meme Search는 AI를 사용하여 개인의 미모 컬렉션을 정리하고 검색할 수 있는 방법을 제공합니다. 이미지의 시각적 콘텐츠와 텍스트를 기반으로 인덱싱함으로써, 파일 이름을 수동으로 지정하거나 특정 이미지의 위치를 기억할 필요 없이 검색할 수 있습니다.

작동 방식

시스템은 이미지에서 텍스트로 변환하는 모델을 사용하여 미모에 대한 자동 설명을 생성합니다. 이러한 설명과 수동 편집, 태그는 벡터 임베딩으로 변환되어 pgvector 확장 기능이 있는 PostgreSQL 데이터베이스에 저장됩니다. 이를 통해 사용자는 키워드 기반 검색과 세미틱(벡터) 검색을 모두 수행할 수 있습니다. 사용자는 포함된 Python 서비스를 사용해 로컬 추론(예: Florence-2 또는 Moondream2 모델)을 선택하거나, 외부 OpenAI 호환 비전 API를 사용할 수 있습니다.

대상 사용자

대규모 미모 라이브러리를 보유하고 있으며, 자체 호스팅되고 개인 정보가 보호되는 검색 엔진을 통해 빠르게 관리하고 검색하고 싶은 개인을 대상으로 합니다.

주요 특징

• 유연한 AI 모델: 다양한 로컬 비전-언어 모델(Florence-2, SmolVLM, Moondream2)을 지원하며, 하드웨어에 따라 다른 파라미터 크기를 선택할 수 있습니다.
• 하이브리드 검색: 전통적인 키워드 검색과 빠른 벡터 검색을 결합하여 더 정확한 결과를 제공합니다.
• 자체 호스팅 및 개인 정보 보호: Docker를 통해 실행되며, 기본적으로 이미지 처리와 임베딩을 로컬에서 수행하도록 설계되었습니다.
• 확장 가능한 접근성: 읽기 전용 Search API v1, Python CLI, 실험적인 브라우저 확장 기능을 포함하여 웹 UI 외부에서도 미모 라이브러리에 접근할 수 있습니다.
• 대량 처리: 대량 설명 생성 및 드래그 앤 드롭 업로드를 지원하여 빠른 인덱싱이 가능합니다.