deepfates/memery

Search over large image datasets with natural language and computer vision

해결하는 문제

Memery는 파일 이름이 유용하지 않거나 알 수 없는 대규모 이미지 폴더를 수동으로 검색해야 하는 문제를 해결합니다. 사용자는 수백 개의 썸네일을 스크롤하는 대신 자연어 설명을 사용하여 특정 이미지를 찾을 수 있습니다.

작동 방식

이 프로젝트는 이미지와 텍스트를 동일한 잠재 공간에 매핑하는 OpenAI의 CLIP (Contrastive Language-Image Pretraining) transformer를 사용합니다. 이를 통해 시스템은 텍스트 쿼리(예: "왼쪽을 보고 있는 여성의 선화")를 로컬 폴더의 이미지와 비교하여 가장 관련 있는 일치 항목을 찾을 수 있습니다.

대상 사용자

밈, 스크린샷, 데이터셋 또는 제품 사진과 같이 파일 이름이나 날짜에 의존하지 않고 검색할 방법이 필요한 대규모 로컬 이미지 컬렉션을 보유한 모든 사용자를 위해 설계되었습니다.

주요 특징

  • 다양한 인터페이스: 브라우저 기반 GUI, 명령줄 인터페이스(CLI) 및 다른 워크플로우에 통합할 수 있는 Python 라이브러리를 제공합니다.
  • 유연한 쿼리: 텍스트 쿼리, 이미지 쿼리 또는 두 가지의 조합을 통한 검색을 지원합니다.
  • 인덱싱: 더 효율적인 검색을 위해 이미지를 인코딩하고 인덱싱하는 build 명령어가 포함되어 있습니다.
  • Notebook 호환성: GUI 기능을 포함하여 Jupyter notebooks 내에서 사용할 수 있습니다.