greyovo/PicQuery

🔍 Search local images with natural language on Android, powered by OpenAI's CLIP model. / 在 Android 上用自然语言搜索本地图片 (基于 OpenAI 的 CLIP 模型)

何を解決するか

PicQuery は、クラウドサービスに写真をアップロードする必要なく、自然言語の記述（英語または中国語）や別の画像をクエリとして使用して、ローカルの写真ライブラリを検索できるようにします。

動作方法

アプリはデバイス上のローカルインデックスを構築します。画像およびテキストの埋め込みには、Apple の MobileCLIP2-S0 / dfndr2b モデルを使用します。Android では、ONNX Runtime と TFLite（LiteRT）の2つの異なる推論ランタイムオプションを提供しており、異なるバックエンドでの検索のパフォーマンスと精度を比較できます。

対象ユーザー

AI駆動のセマンティック検索を使って、プライバシーを守りながら写真ギャラリーを検索したい Android ユーザー。

特徴

  • デバイス内処理: インデックス作成と検索はすべてローカルで行われ、プライバシーと高速性を確保します。
  • 多言語対応: 英語および中国語での検索クエリをサポートします。
  • 画像ベースの検索: 画像をクエリとして使用して類似画像を検索できます。
  • 柔軟なランタイム: モデル推論に ONNX Runtime と TFLite/LiteRT の両方をサポートしています。

関連

  • プロジェクト
    egdels/makeacopy

    オンデバイス ML と OCR を使用して、セルフホストワークフロー向けに検索可能な PDF を作成する、オフラインでプライバシーを重視した Android ドキュメントスキャナー。

  • プロジェクト
    qpuchen/nnUNet_att_position_correction

    軸向アテンション（axial attention）と位置修正モジュールを nnU-Net に組み込むことで、限られたラベル付きデータを用いて精度を向上させる半監督式 3D 歯のセグメンテーション・フレームワークです。

  • プロジェクト
    rgeirhos/Stylized-ImageNet

    Stylized-ImageNet を作成するためのツールです。テクスチャを歪めて ImageNet のバージョンを作り、CNN がテクスチャよりもオブジェクトの形状を優先するように促し、ロバスト性を向上させます。

  • プロジェクト
    IvanDrokin/torch-conv-kan

    TorchConv‑KAN は、各カーネルが学習可能な一変数関数（KAN、Fast‑KAN、Cheby‑KAN など）のセットである畳み込み層を実装する PyTorch ライブラリです。多数のレイヤー変種、CNN スタイルのモデルファミリー（ResKANet、DenseKANet、VGG‑KAN、U‑Net‑KAN）、事前学習済み ImageNet‑1k チェックポイント、および Accelerate、Hydra、WandB、Ray‑Tune を使用するトレーニングスクリプトを備えています。プロジェクトは現在積極的に開発中であり、コルモゴロフ・アルノルド畳み込みに関する研究論文と併せて提供されています。