open-edge-platform/datumaro

Dataset Management Framework, a Python library and a CLI tool to build, analyze and manage Computer Vision datasets.

What it solves

Datumaro는 AI 모델 학습을 위한 데이터셋 준비 과정을 단순화합니다. 데이터셋 형식의 파편화, 일관성 없는 어노테이션, 모델 학습 전 엄격한 데이터 정제 및 분할의 필요성 문제를 해결합니다.

How it works

프레임워크와 CLI 도구를 통해 데이터셋 관리의 중앙 허브 역할을 합니다. 다양한 산업 표준 형식(COCO, Pascal VOC, YOLO 등)을 읽고 쓸 수 있어 사용자가 이러한 형식 간에 데이터셋을 변환할 수 있습니다. 변환 외에도 데이터셋 병합, 특정 기준에 따른 원치 않는 데이터 필터링, 어노테이션 변환(예: 폴리곤을 마스크로 변환), 레이블 분포를 유지하면서 데이터를 학습, 검증 및 테스트 세트로 분할하는 도구를 제공합니다.

Who it’s for

모델 학습 및 배포를 위해 컴퓨터 비전 데이터셋을 구축, 변환 및 분석해야 하는 데이터 과학자 및 ML 엔지니어.

Highlights

  • Multi-format support: Seamlessly converts between numerous formats including COCO, YOLO, Cityscapes, and ImageNet.
  • Dataset building: Tools for merging datasets and filtering images or annotations based on custom criteria.
  • Dataset splitting: Supports random splits or task-specific splits that preserve label and attribute distributions.
  • Quality control: Includes features for error checking, and annotation validation, and comparison with model inference results.
  • Dataset statistics: Generates image mean, standard deviation, and annotation statistics.