ARM-software/armnn

何を解決するか

Arm NN は、Arm Cortex-A CPU および Arm Mali GPU 上で ML モデルの実行を高速化するための機械学習推論エンジンです。高レベルのニューラルネットワークフレームワークと省電力な Arm ハードウェアの間のギャップを埋め、汎用 ML ライブラリよりも高いパフォーマンスと電力効率でモデルを実行することを保証します。

動作方法

Arm Compute Library (ACL) を使用して、アーキテクチャ固有の最適化（SVE2 など）をハードウェアに適用します。TensorFlow Lite (TF Lite) および ONNX 形式のモデルをサポートしています。TF Lite Delegate を通じて統合（未対応演算子については参照用の TF Lite ランタイムにフォールバック）することで広範な演算子サポートを提供するか、専用の TF Lite および ONNX パーサーを通じて直接統合が可能です。

対象ユーザー

Android および Linux プラットフォームで Arm ベースのハードウェアをターゲットにした ML アプリケーションを開発する開発者、Python や C++ API を使用するユーザー。

主な特徴

• ハードウェア加速: Arm Cortex-A CPU、Arm Mali GPU、Arm Ethos-N NPU に特化して最適化されています。
• 柔軟な統合: シンプルな加速を提供する TF Lite Delegate と、直接統合可能な C++ パーサーを提供。
• クロスプラットフォーム対応: さまざまな Android API レベルおよび Linux Arm v8a/v8.2a 用の事前ビルド済みバイナリを提供。
• カスタマイズ可能なビルド: Dockerfile をサポートするビルドツールを備えており、プロジェクトに必要な特定のコンポーネントを選択できます。