zuoqing1988/ZQCNN

해결하는 문제

ZQCNN은 Windows, Linux, ARM-Linux 등 여러 플랫폼에서 딥러닝 모델을 효율적으로 실행하기 위해 설계된 경량 추론 프레임워크입니다. MKL과 같은 무거운 의존성 없이 CPU에서 고성능 모델 실행을 수행해야 하는 요구 사항을 해결하며, 컴퓨터 비전 작업을 위한 즉시 사용 가능한 구현을 제공합니다.

작동 원리

이 프레임워크는 어셈블리어와 내장 함수로 작성된 ZQ_GEMM이라는 사용자 지정 GEMM(범용 행렬 곱셈) 커널을 활용하여 x86 및 ARM 아키텍처에서 처리량을 극대화합니다. 다양한 백엔드를 지원하여 사용자가 ZQ_GEMM, MKL 또는 OpenBLAS 간에 전환할 수 있습니다. 또한 model2code 도구를 통해 모델을 코드로 직접 컴파일하여 외부 파일 로딩 오버헤드를 제거할 수 있습니다.

대상 사용자

최소한의 의존성과 높은 CPU 추론 속도가 중요한 엣지 디바이스나 데스크톱 환경에서 AI 모델을 배포해야 하는 개발자, 특히 얼굴 감지 및 인식 애플리케이션을 개발하는 분들에게 적합합니다.

주요 특징

• 크로스 플랫폼 지원: Windows, Linux, ARM-Linux에서 실행됩니다.
• 사용자 지정 최적화 커널: MKL 없이도 고성능 행렬 곱셈을 수행하는 ZQ_GEMM을 포함합니다.
• 통합된 CV 데모: MTCNN 얼굴 감지, SSD 객체 감지, 얼굴 인식 (MobileFaceNet) 및 OCR을 위한 사전 학습된 모델과 데모를 제공합니다.
• 유연한 백엔드: 성능 튜닝을 위해 서로 다른 BLAS 라이브러리 간의 동적 전환을 지원합니다.