apple-aiml-research/ml-cvnets

What it solves

CVNets 提供了一个用于训练和评估计算机视觉模型的统一工具箱。它简化了开发标准和新型架构的过程， specifically 针对高性能非移动端模型和针对移动端优化的轻量化模型。

How it works

基于 PyTorch，该库提供了用于各种视觉任务的完整工具套件。它包含一个预先实现的架构 "Model Zoo"，并为高级训练技术提供集成式支持，例如 soft 和 hard distillation 以及自动数据增强（如 RangeAugment 和 AutoAugment）。

Who it’s for

需要针对不同硬件目标（包括移动平台）进行训练、评估和部署计算机视觉模型的研究人员和工程师。

Who it’s for

需要针对不同硬件目标（包括移动平台）进行训练、评估和部署计算机视觉模型的研究人员和工程师。

Highlights

• Diverse Task Support: 支持目标分类、目标检测（SSD, Mask R-CNN）、语义分割（DeepLabv3, PSPNet）以及基础模型（如 CLIP）。
• Classification and Detection: 包含 CNNs（MobileNet, EfficientNet, ResNet）、Transformers (ViT, Swin Transformer, MobileViT) 以及多模态模型 (ByteFormer)。
• Mobile Optimization: 特别设计以支持移动端友好的视觉 Transformer，并提供将 PyTorch 模型转换为 CoreML 的示例。
• Advanced Augmentation: 具备通过 RangeAugment 进行高效在线增强的功能。