greyovo/PicQuery

🔍 Search local images with natural language on Android, powered by OpenAI's CLIP model. / 在 Android 上用自然语言搜索本地图片 (基于 OpenAI 的 CLIP 模型)

해결하는 문제

PicQuery는 사진을 클라우드 서비스에 업로드할 필요 없이, 자연어 설명(영어 또는 중국어)이나 다른 이미지를 쿼리로 사용하여 로컬 사진 라이브러리에서 검색할 수 있게 해줍니다.

작동 방식

앱은 디바이스 내부에 사진의 로컬 인덱스를 구축합니다. 이미지와 텍스트의 임베딩 생성에 Apple의 MobileCLIP2-S0 / dfndr2b 모델을 사용합니다. Android에서는 ONNX Runtime과 TFLite(LiteRT)의 두 가지 다른 추론 런타임 옵션을 제공하여, 서로 다른 백엔드에서 검색 성능과 정확도를 비교할 수 있습니다.

대상 사용자

AI 기반 의미 검색을 통해 사진 갤러리를 사생활 보호 및 디바이스 내에서 검색하고 싶은 Android 사용자들입니다.

주요 기능

  • 디바이스 내 처리: 인덱싱과 검색이 모두 로컬에서 이루어져 프라이버시와 속도를 보장합니다.
  • 다국어 지원: 영어 및 중국어로 검색 쿼리를 지원합니다.
  • 이미지 기반 검색: 사진을 쿼리로 사용하여 유사한 이미지를 찾을 수 있습니다.
  • 유연한 런타임: 모델 추론에 ONNX Runtime과 TFLite/LiteRT 둘 다 지원합니다.

관련

  • 프로젝트
    egdels/makeacopy

    온디바이스 ML과 OCR을 사용해, 자체 호스팅 워크플로우를 위한 검색 가능한 PDF를 생성하는, 오프라인 중심의 개인정보 보호 Android 문서 스캐너입니다.

  • 프로젝트
    qpuchen/nnUNet_att_position_correction

    축향 어텐션(axial attention)과 위치 수정 모듈을 nnU-Net에 통합하여 제한된 레이블 데이터로 정확도를 높이는 준지도 학습 기반 3D 치아 세그멘테이션 프레임워크입니다.

  • 프로젝트
    rgeirhos/Stylized-ImageNet

    Stylized-ImageNet을 생성하기 위한 도구로, 텍스처를 왜곡하여 CNN이 텍스처보다 객체 형태를 우선하도록 유도함으로써 견고성을 향상시킵니다.

  • 프로젝트
    IvanDrokin/torch-conv-kan

    TorchConv‑KAN은 각 커널이 학습 가능한 일변수 함수(KAN, Fast‑KAN, Cheby‑KAN 등)의 집합인 합성곱 레이어를 구현하는 PyTorch 라이브러리입니다. 다양한 레이어 변종, CNN 스타일 모델 패밀리(ResKANet, DenseKANet, VGG‑KAN, U‑Net‑KAN), 사전 학습된 ImageNet‑1k 체크포인트, Accelerate, Hydra, WandB, Ray‑Tune를 사용하는 학습 스크립트를 포함합니다. 프로젝트는 현재 활발히 개발 중이며, 콜모고로프-아르노르드 합성곱에 관한 연구 논문과 함께 제공됩니다.