visual-layer/fastdup

解決的問題

fastdup 解決了管理與清理大規模視覺資料集的挑戰。它幫助使用者識別並移除重複項目、近似重複、異常值、錯誤標籤的影像，以及低品質影像（例如模糊、太暗或太亮的影像），以確保為 AI 模型提供高品質的訓練資料。

工作原理

此工具使用優化過的 C++ 引擎分析影像與影片資料集，無論資料是否標記。它可在本機或雲端處理資料，支援使用來自 TIMM（PyTorch Image Models）或 ONNX 模型（例如 DINOv2）的自訂嵌入，以揭露資料集問題。同時也提供內建的視覺化工具，可產生重複項目、異常值與影像統計的圖庫。

適用對象

專為需要在 MacOS、Linux 和 Windows 上對大規模視覺資料集（從數億到數十億張影像）進行整理的資料科學家與機器學習工程師設計。

主要特色

• 極高的可擴展性：可在單一 CPU 機器上處理 4 億張影像，並可擴展至數十億張。
• 高效率：優化過的 C++ 引擎即使在低資源硬體上也能快速運作。
• 與 Hugging Face 整合：可直接從 Hugging Face Hub 加載與分析資料集。
• 隱私為先：在本機或私有雲基礎設施上執行，確保資料始終留在原處。
• 全面清理：偵測損壞影像、錯誤標籤，以及模糊、亮度異常等品質問題。