facebookresearch/mobile-vision

何を解決するか

モバイルデバイスでは、従来の指標（FLOPs）が実際のデバイス上でのレイテンシと必ずしも相関しないという課題に対処します。

仕組み

本プロジェクトは、ハードウェアに配慮した、プラットフォームに配慮したモデル設計戦略を実装しています。Differentiable Neural Architecture Search (NAS) を用いてモデル（FBNet）を生成し、プラットフォームに配慮したモデル適応（ChamNet）により、特定のハードウェア向けにネットワーク設計を最適化します。これにより、Caffe2 int8推論エンジン（QNNPACK）に基づくCNNレイテンシのルックアップテーブル（LUT）を提供し、開発者が物理的なスマートフォン上でモデルを実行せずに、実際のデバイス上でのレイテンシを推定できるようにします。

対象ユーザー

厳格なレイテンシおよび電力制約があるモバイルハードウェアに高性能なコンピュータビジョンモデルをデプロイする必要がある機械学習研究者およびエンジニア向けです。

特徴

• PyTorchおよびCaffe2形式で利用可能な、FBNetおよびChamNetの事前学習済みモデル。
• モバイルパフォーマンスを最大化するためのint8量子化モデルのサポート。
• モバイル端末における演算子レベルのレイテンシ推定に向けた包括的なレイテンシルックアップテーブル。
• ImageNet 1kデータセット上で学習および評価されたモデル。