ldqk/ImageSearch

基于.NET10的本地硬盘千万级图库以图搜图案例Demo和相似图片查重和图片exif信息移除小工具分享，全面对标DuplicateCleaner

해결하는 문제

이 프로젝트는 대규모 이미지 및 비디오 컬렉션을 검색하고 관리하기 위한 고성능 로컬 도구를 제공합니다. DuplicateCleaner와 같은 기존 도구보다 더 빠른 성능으로 방대한 로컬 데이터 세트에서 중복되거나 시각적으로 유사한 파일을 찾는 문제를 해결합니다.

작동 방식

지각 해싱 알고리즘(Difference Hash, DCT Hash 32, DCT Hash 64)을 사용하여 로컬 파일의 검색 가능한 인덱스를 생성합니다. 비디오의 경우 1초 간격으로 키 프레임을 추출하고 크기를 조절한 뒤 해싱하여 비교합니다. 사용자는 유사도 임계값을 조정하고 특정 알고리즘을 선택하여 검색 결과를 미세 조정할 수 있습니다. 이 도구는 선택적으로 'Everything' 검색 엔진과 통합하여 파일 검색 속도를 높일 수 있습니다.

대상 사용자

클라우드 서비스에 의존하지 않고 대규모 로컬 미디어 라이브러리를 정리, 중복 제거 또는 검색해야 하는 Windows 사용자를 위해 설계되었습니다.

주요 특징

  • 수백만 개의 이미지와 비디오에 대한 빠른 인덱싱 및 검색 지원.
  • 자동 선택 규칙(예: 최신 파일 유지, 가장 큰 파일 유지)을 포함한 고급 중복 제거 기능.
  • 클립보드 검색 및 드래그 앤 드롭 지원을 포함한 유연한 검색 옵션 제공.
  • 내장된 EXIF 데이터 제거 기능.
  • 디스크 공간 확보를 위한 시각적 미리보기 및 일괄 관리 도구 제공.

관련

  • 프로젝트
    NGT-labs/NGT

    NGT는 고차원 벡터 공간에서 빠른 근사 최근접 이웃 검색을 위한 오픈소스 라이브러리입니다. 그래프 및 트리 기반 인덱스와 수십억 개 항목으로 확장되는 양자화 변형(QG, QBG)을 제공하며, 다양한 거리 메트릭을 지원하고, 여러 언어 바인딩(Python, Ruby, PHP, Rust, Go, Node.js)을 제공하며, 독립 실행형 CLI 또는 분산 서버(ngtd, vald)로 실행할 수 있습니다. Apache 2.0 라이선스입니다.

  • 프로젝트
    datascale-ai/data_engineering_book

    LLM 데이터 엔지니어링을 위한 오픈소스 종합 가이드로, 사전 학습부터 프로덕션까지 데이터 파이프라인을 관리하기 위한 체계적인 프레임워크와 15개의 실습 프로젝트를 제공합니다.

  • 프로젝트
    xtreme1-io/xtreme1

    Xtreme1은 2D 이미지, 3D LiDAR, 센서 융합 데이터를 포함한 다중 모달 학습 데이터(어노테이션, 큐레이션, 관리)를 위한 오픈소스이며 Docker 기반의 플랫폼입니다. UI 기반 레이블링 도구, 온톨로지 관리, 내장된 사전 레이블링 모델(YOLOR, OpenPCDet), 품질 모니터링, LLM용 베타 RLHF 인터페이스를 제공합니다. 단일 `docker compose up` 명령어로 설치 가능하며, Docker를 지원하는 모든 OS에서 실행 가능하며 GPU 가속 모델 컨테이너를 선택적으로 사용할 수 있습니다. Apache-2.0 라이선스이며 LF AI & Data Foundation에서 호스팅합니다.

  • 프로젝트
    amphi-ai/amphi-etl

    Amphi ETL은 네이티브 Python 코드를 생성하여 데이터 준비 및 변환 파이프라인 구축을 돕는 시각적 로우코드 도구입니다. 자체 호스팅을 위해 설계되어 데이터 프라이버시를 보장하며, 보고서 작성 및 경량 ETL 작업을 위한 파이프라인 생성을 간소화합니다.