deepfates/memery

Search over large image datasets with natural language and computer vision

解決的問題

Memery 解決了在檔案名稱無效或未知的情況下,必須手動搜尋大量圖像資料夾的問題。使用者無需滾動瀏覽數百個縮圖,只需使用自然語言描述即可找到特定圖像。

工作原理

該專案使用 OpenAI 的 CLIP (Contrastive Language-Image Pretraining) transformer,它將圖像和文本映射到同一個潛在空間。這使得系統能夠將文本查詢(例如「一個向左看的女性線條畫」)與本地資料夾中的圖像進行比較,從而找到最相關的匹配項。

適用對象

專為擁有大量本地圖像集合(如迷因、螢幕截圖、數據集或產品照片)並需要一種無需依賴檔案名稱或日期即可進行搜尋的方法的使用者而設計。

亮點

  • 多種介面:提供基於瀏覽器的 GUI、命令列介面 (CLI) 以及用於整合到其他工作流程中的 Python 函式庫。
  • 靈活查詢:支援透過文本查詢、圖像查詢或兩者的結合進行搜尋。
  • 索引:包含 build 命令,用於對圖像進行編碼和索引,以實現更高效的搜尋。
  • 相容 Notebook:可以在 Jupyter notebooks 中使用,包括其 GUI 功能。