open-edge-platform/datumaro

Dataset Management Framework, a Python library and a CLI tool to build, analyze and manage Computer Vision datasets.

What it solves

Datumaro 簡化了為 AI 模型訓練準備資料集的複雜過程。它解決了資料集格式碎片化、標註不一致以及在模型訓練前需要進行嚴格的資料清洗和分割的問題。

How it works

它透過一個框架和 CLI 工具作為資料集管理的中央樞紐。它可以讀取和寫入各種業界標準格式（例如 COCO、Pascal VOC 和 YOLO），允許使用者在這些格式之間轉換資料集。除了轉換之外，它還提供工具來合併資料集、根據特定標準過濾掉不需要的資料、轉換標註（例如，將多邊形轉換為遮罩）、以及在保持標籤分佈的同時將資料分割成訓練集、驗證集和測試集。

Who it’s for

對於需要為模型訓練和發佈而構建、轉換和分析電腦視覺資料集的資料科學家和 ML 工程師。

Highlights

  • Multi-format support: Seamlessly converts between numerous formats including COCO, YOLO, Cityscapes, and ImageNet.
  • Dataset building: Tools for merging datasets and filtering images or annotations based on custom criteria.
  • Intelligent splitting: Supports random splits or task-specific splits that preserve label and attribute distributions.
  • Quality control: Includes features for error checking, annotation validation, and comparison with model inference results.
  • Dataset statistics: Generates image mean, standard deviation, and annotation statistics.