apple-aiml-research/ml-fastvit

해결하는 문제

FastViT는 모바일 장치에서 실시간으로 사용할 수 있을 정도로 빠른 고성능 비전 트랜스포머를 개발하기 위해 설계되었습니다. 비전 트랜스포머(ViTs)에서 흔히 발생하는 지연을 줄이면서도 높은 정확도를 유지합니다.

작동 방식

비전 트랜스포머와 전통적인 합성곱 신경망의 장점을 결합한 하이브리드 아키텍처를 사용합니다. 핵심 메커니즘은 구조적 재패러미터화로, 학습 시에는 복잡한 구조(비융합)를 가지며 더 나은 학습이 가능하지만, 추론 시에는 단순화된 빠른 버전(융합/재패러미터화)으로 변환됩니다.

대상 사용자

저지연과 고효율이 중요한 모바일 또는 엣지 디바이스용 컴퓨터 비전 애플리케이션을 개발하는 AI 연구자 및 개발자에게 적합합니다.

주요 특징

• 모바일 최적화: 실제 모바일 환경 성능을 보장하기 위해 iPhone 12 Pro에서 벤치마크되었습니다.
• 구조적 재패러미터화: 학습용 모델에서 융합된 추론용 모델로의 전환을 지원하여 속도를 향상시킵니다.
• 모델 자료관: 다양한 정확도-지연 트레이드오프를 가진 T8부터 MA36까지의 다양한 사전 학습 모델을 제공합니다.
• 지식 증류: ImageNet-1K에서 Top-1 정확도를 더욱 높이기 위해 지식 증류로 학습된 모델도 제공합니다.
• 크로스플랫폼 내보내기: PyTorch 체크포인트를 CoreML로 내보내는 도구를 포함하여 Apple 디바이스에 배포할 수 있습니다.