ncnn: 모바일, 임베디드 및 데스크톱 배포에 최적화된 고성능 신경망 추론 프레임워크

해결하고자 하는 문제

ncnn은 모바일 폰, 임베디드 시스템, PC, 브라우저와 같이 자원이 제한된 디바이스에 딥러닝 모델을 보다 쉽고 효율적으로 배포할 수 있도록 설계된 고성능 신경망 추론 프레임워크입니다.

작동 방식

제3자 의존성이 전혀 없는 경량 런타임을 제공하여 CPU와 Vulkan GPU 백엔드 모두에서 실행될 수 있습니다. 모델을 프레임워크에 넣기 위해서는 PyTorch와 ONNX 형식의 모델을 ncnn 형식으로 변환해 주는 pnnx와 같은 도구를 포함하고 있습니다.

대상 사용자

무거운 외부 런타임에 의존하지 않고 AI 모델을 엣지 디바이스, 모바일 애플리케이션 또는 데스크톱 소프트웨어에 배포해야 하는 개발자들을 위한 것입니다.

주요 특징

• 모바일 및 임베디드 배포에 최적화된 고성능 추론
• 제3자 런타임 의존성 제로
• CPU와 Vulkan GPU 백엔드 모두 지원
• PyTorch와 ONNX에서 원활하게 변환할 수 있는 pnnx 포함
• Android, iOS, Windows, macOS, Linux, WebAssembly, HarmonyOS 등 광범위한 플랫폼 지원