zuoqing1988/ZQCNN

解决的问题

ZQCNN 是一个轻量级推理框架，旨在于 Windows、Linux 和 ARM-Linux 等多个平台上高效运行深度学习模型。它专门解决了在 CPU 上进行高性能模型执行的需求，无需 MKL 等繁重的依赖，同时为计算机视觉任务提供了开箱即用的实现。

运作原理

该框架利用名为 ZQ_GEMM 的自定义 GEMM (通用矩阵乘法) 内核，以汇编语言和内建函数编写，旨在最大化 x86 和 ARM 架构上的吞吐量。它支持多种后端，允许用户在 ZQ_GEMM、MKL 或 OpenBLAS 之间切换。该框架还能通过 model2code 工具将模型直接编译为代码，以消除外部文件加载的开销。

适用对象

它适用于需要在边缘设备或桌面环境中部署 AI 模型，且对最小化依赖与高 CPU 推理速度有严格要求的开发者，特别是针对人脸检测与识别应用。

特色亮点

• 跨平台支持：可在 Windows、Linux 和 ARM-Linux 上运行。
• 自定义优化内核：包含 ZQ_GEMM，无需 MKL 即可实现高性能矩阵乘法。
• 集成式计算机视觉演示：提供用于 MTCNN 人脸检测、SSD 物体检测、人脸识别 (MobileFaceNet) 和 OCR 的预训练模型与演示。
• 灵活的后端：支持在不同的 BLAS 库之间动态切换，以便进行性能调优。