Tencent/ncnn

해결하는 문제

ncnn은 리소스가 제한된 환경에서 딥러닝 모델을 실행(추론)하기 위한 고성능 프레임워크를 제공합니다. 개발자는 PyTorch와 같은 프레임워크에서 학습된 모델을 무거운 타사 런타임 의존성 없이 휴대폰, 임베디드 시스템, 데스크톱 컴퓨터 및 웹 브라우저에 효율적으로 배포할 수 있습니다.

작동 방식

이 프레임워크는 변환 도구(pnnx)와 경량 추론 엔진이라는 두 가지 부분으로 구성됩니다. 개발자는 먼저 pnnx를 사용하여 PyTorch 또는 ONNX 모델을 ncnn 형식으로 변환합니다. 변환이 완료되면 CPU와 Vulkan GPU 가속을 모두 지원하는 ncnn 엔진이 이 모델을 로드하여 추론을 수행합니다. 외부 런타임 라이브러리에 의존하지 않는 독립형으로 설계되어 다양한 하드웨어 아키텍처에서 높은 이식성을 제공합니다.

대상 사용자

이 프로젝트는 성능과 최소한의 의존성이 중요한 에지 장치, 모바일 앱 또는 데스크톱 애플리케이션에 AI 모델을 배포해야 하는 소프트웨어 엔지니어 및 머신러닝 실무자를 위한 것입니다. WeChat 및 QQ와 같은 주요 애플리케이션을 포함하여 프로덕션 환경에서 널리 사용되고 있습니다.

주요 특징

• 모바일, 임베디드 및 데스크톱 플랫폼에 최적화된 고성능 추론.
• 통합을 간소화하는 제로 타사 런타임 의존성.
• CPU 및 Vulkan GPU 가속을 모두 활용하는 듀얼 백엔드 지원.
• PyTorch 및 ONNX 모델에서 원활하게 변환할 수 있는 pnnx 포함.
• Android, iOS, Windows, Linux, macOS, WebAssembly 및 다양한 에지 컴퓨팅 플랫폼을 포함한 광범위한 하드웨어 지원.