facebookresearch/mobile-vision

解决的问题

解决了在移动设备上设计高效卷积神经网络（ConvNets）的挑战，其中传统的指标（如 FLOPs）并不总是与实际设备上的延迟相关。

工作原理

该项目实现了硬件感知和平台感知的模型设计策略。它使用可微分神经架构搜索（NAS）来创建模型（FBNet），并采用平台感知的模型适配（ChamNet）来优化特定硬件的网络设计。为支持这一过程，它提供了一个基于 Caffe2 int8 推理引擎（QNNPACK）的 CNN 延迟查找表（LUT），使开发者无需在真实手机上运行每个模型即可估算实际设备延迟。

适用人群

专为需要在具有严格延迟和功耗限制的移动硬件上部署高性能计算机视觉模型的机器学习研究人员和工程师设计。

主要亮点

• 提供 PyTorch 和 Caffe2 格式下的 FBNet 和 ChamNet 预训练模型。
• 支持 int8 量化模型，以最大化移动设备性能。
• 提供全面的延迟查找表，用于在移动设备上进行操作级延迟估算。
• 模型在 ImageNet 1k 数据集上进行训练和评估。