visual-layer/fastdup

何を解決するか

fastdupは、大規模な視覚データセットの管理とクリーニングの課題に対処します。ユーザーが重複、類似重複、外れ値、誤ラベル画像、および低品質画像（ぼやけている、暗すぎる、明るすぎるなど）を特定・削除できるようにし、AIモデル用の高品質な学習データを確保します。

動作方法

このツールは最適化されたC++エンジンを使用して、ラベル付きまたはラベルなしの画像および動画データセットを分析します。ローカルまたはクラウドでデータを処理でき、TIMM（PyTorch Image Models）やONNXモデル（例：DINOv2）などのカスタム埋め込みを活用してデータセットの問題を可視化できます。また、重複、外れ値、画像統計のギャラリーを生成するための組み込み可視化ツールも提供しています。

対象ユーザー

MacOS、Linux、Windows上で、数億から数十億の画像を含む大規模な視覚データセットをキュレーションする必要があるデータサイエンティストやMLエンジニア向けに設計されています。

主な特徴

• 極めてスケーラブル: 単一のCPUマシンで4億枚の画像を処理可能で、数十億枚までスケーリング可能。
• 高いパフォーマンス: 低リソース環境でも高速な動作を実現する最適化されたC++エンジン。
• Hugging Face統合: Hugging Faceハブから直接データセットを読み込み、分析可能。
• プライバシー最優先: ローカルまたはプライベートクラウドインフラ上で実行され、データが場所に留まるよう確保。
• 包括的なクリーニング: 破損した画像、誤ラベル、ぼやけや明るさの問題などの品質問題を検出。