visual-layer/fastdup

해결하는 문제

fastdup은 대규모 시각 데이터셋을 관리하고 정리하는 과제를 해결합니다. 사용자가 중복, 근접 중복, 이상치, 잘못 레이블링된 이미지, 그리고 흐릿하거나 너무 어둡거나 밝은 저품질 이미지를 식별하고 제거하여 AI 모델을 위한 고품질 학습 데이터를 보장합니다.

작동 방식

이 도구는 최적화된 C++ 엔진을 사용하여 레이블이 있든 없든 이미지 및 비디오 데이터셋을 분석합니다. 로컬 또는 클라우드에서 데이터를 처리할 수 있으며, TIMM(PyTorch Image Models) 또는 ONNX 모델(DINOv2 등)과 같은 사용자 정의 임베딩을 활용하여 데이터셋 문제를 탐지할 수 있습니다. 또한 중복, 이상치, 이미지 통계를 보여주는 갤러리를 생성하는 내장 시각화 도구를 제공합니다.

대상 사용자

MacOS, Linux, Windows에서 수억에서 수십억 개의 이미지를 포함하는 대규모 시각 데이터셋을 정리해야 하는 데이터 과학자 및 ML 엔지니어를 위한 도구입니다.

주요 특징

• 극도의 확장성: 단일 CPU 머신에서 4억 장의 이미지를 처리 가능하며, 수십억 장까지 확장 가능합니다.
• 고성능: 저사양 하드웨어에서도 빠른 속도를 제공하는 최적화된 C++ 엔진.
• Hugging Face 통합: Hugging Face 허브에서 직접 데이터셋을 로드하고 분석할 수 있습니다.
• 개인정보 우선: 로컬 또는 사내 클라우드 인프라에서 실행되어 데이터가 원본 위치에 머무르도록 보장합니다.
• 포괄적인 정리: 손상된 이미지, 잘못 레이블링된 이미지, 흐릿함 및 밝기 문제와 같은 품질 문제를 탐지합니다.