zuoqing1988/ZQCNN

解決する課題

ZQCNNは、Windows、Linux、ARM-Linuxなど、複数のプラットフォームでディープラーニングモデルを効率的に実行するために設計された軽量な推論フレームワークです。MKLのような重い依存関係を必要とせず、CPU上で高性能なモデル実行を実現するニーズに応え、コンピュータビジョンタスク向けのすぐに使える実装を提供します。

仕組み

このフレームワークは、ZQ_GEMMと呼ばれるカスタムGEMM（汎用行列乗算）カーネルを利用しています。これはアセンブリ言語と組み込み関数で記述されており、x86およびARMアーキテクチャでのスループットを最大化します。複数のバックエンドをサポートしており、ユーザーはZQ_GEMM、MKL、OpenBLASを切り替えて使用できます。また、model2codeツールを使用してモデルを直接コードにコンパイルすることで、外部ファイルの読み込みオーバーヘッドを排除することも可能です。

対象ユーザー

最小限の依存関係と高いCPU推論速度が不可欠なエッジデバイスやデスクトップ環境でAIモデルをデプロイする必要がある開発者、特に顔検出や顔認識アプリケーションを開発する方に適しています。

主な特徴

• クロスプラットフォーム対応: Windows、Linux、ARM-Linuxで動作します。
• カスタム最適化カーネル: MKLなしで高性能な行列乗算を実現するZQ_GEMMを搭載しています。
• 統合されたCVデモ: MTCNN顔検出、SSD物体検出、顔認識 (MobileFaceNet)、OCRのための学習済みモデルとデモを提供します。
• 柔軟なバックエンド: パフォーマンスチューニングのために、異なるBLASライブラリ間を動的に切り替えることができます。