ARM-software/armnn

解決的問題

Arm NN 是一個專為在 Arm Cortex-A CPU 和 Arm Mali GPU 上加速 ML 模型而設計的機器學習推論引擎。它彌合了高階神經網路框架與高效能 Arm 硬體之間的差距，確保模型的執行效能與電力效率高於通用 ML 庫。

工作原理

它利用 Arm Compute Library (ACL) 對硬體應用架構特定的優化（例如 SVE2）。支援 TensorFlow Lite (TF Lite) 與 ONNX 格式的模型。可透過 TF Lite Delegate 集成（對不支援的運算子回退至參考 TF Lite 執行時，提供最廣泛的運算子支援）或透過專用的 TF Lite 與 ONNX 解析器進行整合。

適用對象

針對 Arm 硬體的 Android 與 Linux 平台開發 ML 應用的開發者，包含使用 Python 或 C++ API 的使用者。

主要亮點

• 硬體加速：針對 Arm Cortex-A CPU、Arm Mali GPU 與 Arm Ethos-N NPU 進行專門優化。
• 彈性整合：提供 TF Lite Delegate 以實現輕鬆加速，以及 C++ 解析器以實現直接整合。
• 跨平台支援：提供適用於多種 Android API 級別與 Linux Arm v8a/v8.2a 的預建二進位檔。
• 可客製化建構：包含支援 Dockerfile 的建構工具，讓使用者可為專案選擇特定元件。