apple-aiml-research/ml-cvnets

What it solves

CVNets는 컴퓨터 비전 모델을 훈련하고 평가하기 위한 통합 툴킷을 제공합니다. 표준 및 신규 아키텍처 개발 프로세스를 단순화하며, 특히 고성능 비모바일 모델과 모바일 기기용으로 최적화된 경량화 모델 모두를 지원합니다.

How it works

PyTorch를 기반으로 구축되었으며, 다양한 비전 작업에 대한 포괄적인 도구 세트를 제공합니다. 구현이 완료된 아키텍처의 "Model Zoo"를 포함하며, soft และ hard distillation, 그리고 자동 데이터 증강(RangeAugment 및 AutoAugment)과 같은 고급 훈련ing 기술을 지원합니다.

Who it’s for

모바일 플랫폼을 포함한 다양한 하드웨어 타겟에 대해 컴퓨터 비전-모델을 훈련, 평가 및 배포할 필요가 있는 연구자 및 엔지니어.

Highlights

• Diverse Task Support: 객체 분류, 객체 탐지(SSD, Mask R-CNN), 세그멘테이션(DeepLabv3, PSPNet), 그리고 CLIP과 같은 파운데이션 모델을 지원합니다.

• Wide Architecture Range: Wide Architecture Range: CNNs (MobileNet, EfficientNet, ResNet), Transformers (ViT, Swin Transformer, MobileViT), and multimodal models (ByteFormer).

• Mobile Optimization: 모바일 친화적인 비전 트랜스포머를 지원하도록 특별히 설계되었으며, PyTorch 모델을 CoreML로 변환하는 예시를 제공합니다.

• Advanced Augmentation: RangeAugment를 통한 효율적인 온라인 증강 기능을 제공합니다.