greyovo/PicQuery

🔍 Search local images with natural language on Android, powered by OpenAI's CLIP model. / 在 Android 上用自然语言搜索本地图片 (基于 OpenAI 的 CLIP 模型)

解决的问题

PicQuery 允许用户使用自然语言描述（英文或中文）或以另一张图片作为查询，无需将照片上传到云服务，即可搜索本地照片库。

工作原理

该应用在设备上构建照片的本地索引。它利用 Apple 的 MobileCLIP2-S0 / dfndr2b 模型为图像和文本创建嵌入。Android 提供两种不同的推理运行时选项：ONNX Runtime 和 TFLite（LiteRT），允许用户在不同后端之间比较搜索性能和准确性。

适用人群

希望使用 AI 驱动的语义搜索，在本地设备上私密地搜索照片画廊的 Android 用户。

主要亮点

  • 设备内处理：所有索引和搜索均在本地完成，确保隐私和速度。
  • 多语言支持：支持英文和中文的搜索查询。
  • 基于图像的搜索：可使用照片作为查询来查找相似图像。
  • 灵活的运行时：支持 ONNX Runtime 和 TFLite/LiteRT 两种模型推理方式。

相关

  • 项目
    egdels/makeacopy

    一款注重隐私的离线 Android 文档扫描器，利用设备端机器学习和 OCR 技术，为自托管工作流创建可搜索的 PDF。

  • 项目
    qpuchen/nnUNet_att_position_correction

    一种半监督式 3D 牙齿分割框架，通过引入轴向注意力机制（axial attention）与位置修正模块来增强 nnU-Net，旨在利用有限的标注数据来提升准确度。

  • 项目
    rgeirhos/Stylized-ImageNet

    一个用于创建 Stylized-ImageNet 的工具，该版本的 ImageNet 会扭曲纹理，以鼓励 CNN 更优先考虑对象形状而非纹理，从而提升鲁棒性。

  • 项目
    IvanDrokin/torch-conv-kan

    TorchConv‑KAN 是一个 PyTorch 库，实现卷积层，其中每个核由一组可学习的一元函数（KAN、Fast‑KAN、Cheby‑KAN 等）构成。它包含多种层变体、CNN 风格模型家族（ResKANet、DenseKANet、VGG‑KAN、U‑Net‑KAN）、预训练的 ImageNet‑1k 检查点，以及使用 Accelerate、Hydra、WandB 和 Ray‑Tune 的训练脚本。该项目正在积极开发中，并配套发表了一篇关于柯尔莫哥洛夫-阿诺德卷积的研究论文。