facebookresearch/mobile-vision

해결하는 문제

모바일 장치에서 전통적인 지표인 FLOPs가 실제 장치에서의 레이턴시와 항상 상관되지 않는 문제를 해결합니다.

작동 방식

이 프로젝트는 하드웨어 인식 및 플랫폼 인식 모델 설계 전략을 구현합니다. Differentiable Neural Architecture Search (NAS)를 사용하여 모델(FBNet)을 생성하고, 플랫폼 인식 모델 적응(ChamNet)을 통해 특정 하드웨어에 최적화된 네트워크 설계를 수행합니다. 이를 위해 Caffe2 int8 추론 엔진(QNNPACK) 기반의 CNN 레이턴시 룩업 테이블(LUT)을 제공하여, 개발자가 실제 스마트폰에서 모든 모델을 실행하지 않고도 실제 장치 레이턴시를 추정할 수 있도록 합니다.

대상 사용자

엄격한 레이턴시 및 전력 제약이 있는 모바일 하드웨어에 고성능 컴퓨터 비전 모델을 배포해야 하는 머신러닝 연구자 및 엔지니어를 위한 것입니다.

주요 특징

• PyTorch 및 Caffe2 형식으로 사용 가능한 FBNet 및 ChamNet의 사전 학습된 모델.
• 모바일 성능을 극대화하기 위한 int8 양자화 모델 지원.
• 모바일 폰에서 연산자 수준의 레이턴시 추정을 위한 포괄적인 레이턴시 룩업 테이블.
• ImageNet 1k 데이터셋에서 학습 및 평가된 모델.