ldqk/ImageSearch

基于.NET10的本地硬盘千万级图库以图搜图案例Demo和相似图片查重和图片exif信息移除小工具分享，全面对标DuplicateCleaner

解決する課題

このプロジェクトは、大規模な画像や動画のコレクションを検索・管理するための高性能なローカルツールを提供します。DuplicateCleaner のような従来のツールよりも高速なパフォーマンスで、膨大なローカルデータセット全体から重複ファイルや視覚的に類似したファイルを検索する問題を解決します。

仕組み

知覚ハッシュアルゴリズム（Difference Hash、DCT Hash 32、DCT Hash 64）を使用して、ローカルファイルの検索可能なインデックスを作成します。動画の場合は、1秒間隔でキーフレームを抽出し、縮小してハッシュ化し比較を行います。ユーザーは類似度のしきい値を調整したり、特定のアルゴリズムを選択して検索結果を微調整したりできます。このツールは、オプションで 'Everything' 検索エンジンと統合し、ファイル検出を高速化できます。

対象ユーザー

クラウドサービスに依存せず、大規模なローカルメディアライブラリを整理、重複排除、または検索する必要がある Windows ユーザー向けに設計されています。

ハイライト

  • 数百万件の画像や動画の高速インデックス作成と検索をサポート。
  • 自動選択ルール（例：最新を保持、最大を保持）を備えた高度な重複排除機能。
  • クリップボード検索やドラッグ＆ドロップ対応など、柔軟な検索オプションを提供。
  • EXIF データ削除機能を内蔵。
  • ディスク容量を解放するための視覚的なプレビューとバッチ管理ツールを提供。

関連

  • プロジェクト
    NGT-labs/NGT

    NGTは、高次元ベクトル空間における高速な近似最近傍探索のためのオープンソースライブラリです。グラフベースおよびツリーベースのインデックスに加え、数十億のアイテムにスケールする量子化バリアント（QG、QBG）を提供し、多くの距離メトリクスをサポートし、言語バインディング（Python、Ruby、PHP、Rust、Go、Node.js）を提供し、スタンドアロンのCLIまたは分散サーバー（ngtd、vald）として実行できます。Apache 2.0ライセンスです。

  • プロジェクト
    datascale-ai/data_engineering_book

    LLMデータエンジニアリングのためのオープンソースの包括的ガイド。事前学習から本番環境までのデータパイプラインを管理するための体系的なフレームワークと15の実践的なプロジェクトを提供します。

  • プロジェクト
    xtreme1-io/xtreme1

    Xtreme1 は、2D画像、3D LiDAR、センサーフュージョンのマルチモーダルトレーニングデータ（アノテーション、キュレーション、管理）を対象としたオープンソースで Docker ベースのプラットフォームです。UI駆動のラベリングツール、オントロジー管理、組み込み事前ラベリングモデル（YOLOR、OpenPCDet）、品質監視、LLM向けベータ版RLHFインターフェースを提供します。`docker compose up` 1コマンドでインストール可能で、Dockerを搭載した任意のOSで動作し、GPU加速モデルコンテナをオプションで利用可能です。Apache-2.0 ライセンスで、LF AI & Data Foundation がホストしています。

  • プロジェクト
    amphi-ai/amphi-etl

    Amphi ETLは、ネイティブなPythonコードを生成することで、データ準備および変換パイプラインの構築を支援するビジュアルなローコードツールです。セルフホストを前提に設計されており、データプライバシーを確保しながら、レポート作成や軽量なETLタスクのためのパイプライン構築を簡素化します。