greyovo/PicQuery

🔍 Search local images with natural language on Android, powered by OpenAI's CLIP model. / 在 Android 上用自然语言搜索本地图片 (基于 OpenAI 的 CLIP 模型)

解決的問題

PicQuery 允許使用者使用自然語言描述（英文或中文）或以另一張圖片作為查詢，無需將照片上傳至雲端服務，即可搜尋本地照片庫。

工作原理

該應用在裝置上建立照片的本地索引。它利用 Apple 的 MobileCLIP2-S0 / dfndr2b 模型為影像和文字建立嵌入。Android 提供兩種不同的推理執行時選項：ONNX Runtime 和 TFLite（LiteRT），讓使用者能在不同後端之間比較搜尋效能與準確性。

適用對象

希望使用 AI 驅動的語意搜尋，在本地裝置上私密地搜尋照片相簿的 Android 使用者。

主要亮點

  • 裝置內處理：所有索引與搜尋均在本地完成，確保隱私與速度。
  • 多語言支援：支援英文與中文的搜尋查詢。
  • 基於影像的搜尋：可使用照片作為查詢來查找相似影像。
  • 靈活的執行時：支援 ONNX Runtime 與 TFLite/LiteRT 兩種模型推理方式。

相關

  • 專案
    egdels/makeacopy

    一款注重隱私的離線 Android 文件掃描器，利用設備端機器學習與 OCR 技術，為自主主機工作流程建立可搜尋的 PDF。

  • 專案
    qpuchen/nnUNet_att_position_correction

    一種半監督式 3D 牙齒分割框架，透過引入軸向注意力機制（axial attention）與位置修正模組來增強 nnU-Net，旨在利用有限的標記數據來提升準確度。

  • 專案
    rgeirhos/Stylized-ImageNet

    一個用於建立 Stylized-ImageNet 的工具，該版本的 ImageNet 會扭曲紋理，以鼓勵 CNN 更優先考慮物體形狀而非紋理，從而提升魯棒性。

  • 專案
    IvanDrokin/torch-conv-kan

    TorchConv‑KAN 是一個 PyTorch 庫，實現卷積層，其中每個核由一組可學習的一元函數（KAN、Fast‑KAN、Cheby‑KAN 等）構成。它包含多種層變體、CNN 風格模型家族（ResKANet、DenseKANet、VGG‑KAN、U‑Net‑KAN）、預訓練的 ImageNet‑1k 檢查點，以及使用 Accelerate、Hydra、WandB 和 Ray‑Tune 的訓練腳本。該專案正在積極開發中，並搭配發表一篇關於柯爾莫哥洛夫-阿諾德卷積的研究論文。