ARM-software/armnn

解决的问题

Arm NN 是一个专为在 Arm Cortex-A CPU 和 Arm Mali GPU 上加速 ML 模型而设计的机器学习推理引擎。它弥合了高级神经网络框架与高效能 Arm 硬件之间的差距，确保模型的运行性能和能效高于通用 ML 库。

工作原理

它利用 Arm Compute Library (ACL) 对硬件应用架构特定的优化（如 SVE2）。支持 TensorFlow Lite (TF Lite) 和 ONNX 格式的模型。可通过 TF Lite Delegate 集成（对不支持的操作符回退到参考 TF Lite 运行时，提供最广泛的操作符支持）或通过专用的 TF Lite 和 ONNX 解析器进行集成。

适用人群

面向基于 Arm 硬件的 Android 和 Linux 平台开发 ML 应用的开发者，包括使用 Python 或 C++ API 的用户。

主要亮点

• 硬件加速：针对 Arm Cortex-A CPU、Arm Mali GPU 和 Arm Ethos-N NPU 进行了专门优化。
• 灵活集成：提供 TF Lite Delegate 以实现轻松加速，以及 C++ 解析器以实现直接集成。
• 跨平台支持：提供适用于多种 Android API 级别和 Linux Arm v8a/v8.2a 的预构建二进制文件。
• 可定制构建：包含支持 Dockerfile 的构建工具，允许用户为其项目选择特定组件。