facebookresearch/mobile-vision

解決的問題

解決了在行動裝置上設計高效卷積神經網路（ConvNets）的挑戰，其中傳統指標（如 FLOPs）並非總是與實際裝置上的延遲相關。

工作原理

本專案實作了硬體感知與平台感知的模型設計策略。它使用可微分神經架構搜尋（NAS）來建立模型（FBNet），並採用平台感知的模型適應（ChamNet）來優化特定硬體的網路設計。為支援此過程，它提供了一個基於 Caffe2 int8 推論引擎（QNNPACK）的 CNN 延遲查閱表（LUT），讓開發者無需在真實手機上執行每個模型，即可估算實際裝置上的延遲。

適用對象

專為需要在具有嚴格延遲與功耗限制的行動硬體上部署高效率電腦視覺模型的機器學習研究人員與工程師設計。

主要亮點

• 提供 PyTorch 與 Caffe2 格式下的 FBNet 與 ChamNet 預訓練模型。
• 支援 int8 量化模型，以最大化行動裝置效能。
• 提供完整的延遲查閱表，可用於行動裝置上的運算子層級延遲估算。
• 模型於 ImageNet 1k 資料集上進行訓練與評估。