open-edge-platform/datumaro

Dataset Management Framework, a Python library and a CLI tool to build, analyze and manage Computer Vision datasets.

What it solves

Datumaro 简化了为 AI 模型训练准备数据集的复杂过程。它解决了数据集格式碎片化、数据集标注不一致、以及在模型训练前需要进行严格的数据清洗和分割的问题。

How it works

它通过一个框架和 CLI 工具作为数据集管理的中央枢纽。它可以读取和写入各种行业标准格式（例如 COCO、Pascal VOC 和 YOLO），允许用户转换不同格式的数据集。除了转换之外，它还提供工具来合并数据集、根据特定标准过滤掉不需要的数据、转换标注（例如，将多边形转换为掩码）、以及在保持标签分布的同时将数据分割成训练集、验证集和测试集。

Who it’s for

对于需要为模型训练和发布数据集构建、转换和分析计算机视觉数据集的数据科学家和 ML 工程师。

Highlights

  • Multi-format support: Seamlessly converts between numerous formats including COCO, YOLO, Cityscapes, and ImageNet.
  • Dataset building: Tools for merging datasets and filtering images or annotations based on custom criteria.
  • Intelligent splitting: Supports random splits or task-specific splits that preserve label and attribute distributions.
  • Quality control: Includes features for error checking, annotation validation, and comparison with model inference results.
  • Dataset statistics: Generates image mean, standard deviation, and annotation statistics.