apple-aiml-research/ml-cvnets

What it solves

CVNets 提供了一個用於訓練與評估電腦視覺模型的統一工具箱。它簡化了開發標準與新型架構的過程，特別針對高效能非行動裝置模型與針對行動裝置優化的輕量化模型。

How it works

基於 PyTorch，此函式庫提供了一套用於各種視覺任務的完整工具。它包含一個預先實作的架構「Model Zoo」，並為進階的訓練技術提供整合式支援，例如 soft 和 hard distillation 以及自動數據增強（如 RangeAugment 和 AutoAugment）。

Who it’s for

需要針對不同硬體目標（包括行動平台）進行訓練、評估與部署電腦視覺模型的研究人員與工程師。

Highlights

• Diverse Task Support: 支持對象物體分類、物體檢測（SSD, Mask R-CNN）、語義分割（DeepLabv3, PSPNet）以及基礎模型（如 CLIP）。
• Wide Architecture Range: 包含 CNNs（MobileNet, EfficientNet, ResNet）、Transformers（ViT, Swin Transformer, MobileViT）以及多模態模型（ByteFormer）。
• Mobile Optimization: 特別設計以支持行動裝置友好的視覺 Transformer，並提供將 PyTorch 模型轉換為 CoreML 的範例。
• Advanced Augmentation: 具備透過 RangeAugment 進行高效能線上增強的功能。