alibaba/MNN

MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

解决的问题

深度学习模型通常太大，且在手机、嵌入式设备或 IoT 硬件上运行时的计算成本过高。MNN 提供了一种高效、轻量级的解决方案，无需沉重的依赖即可在各种平台上本地部署这些模型。

工作原理

MNN 为 ARM 和 x64 CPU 使用优化的汇编代码，并支持通过 Metal、OpenCL、Vulkan 和 CUDA 进行 GPU 硬件加速。它包含一个转换器，可将 TensorFlow、ONNX 和 PyTorch 等格式的模型转换为 MNN 格式，并提供量化（FP16/Int8）以显著减小模型大小并提高速度。

适用对象

  • 移动和 IoT 开发人员： 需要在 Android、iOS 或嵌入式设备上本地运行 AI 模型（如 LLM 或图像编辑器）的人员。
  • ML 工程师： 希望使用简单的 Python API 或 C++ 将复杂模型部署到边缘设备的人员。
  • 应用开发人员： 希望在现有应用程序中实现轻量级计算机视觉或语言模型功能的人员。

亮点

  • 极其轻量： 核心 Android 库仅约 800KB；iOS 静态库约 12MB。
  • 广泛的模型支持： 兼容 TensorFlow、Caffe、ONNX 和 Torchscripts。
  • 高性能： 针对包括 ARM、x86 和 NVIDIA GPU 在内的各种架构进行了优化。
  • 多功能运行时： 包括针对大语言模型 (MNN-LLM) 和 Stable Diffusion (MNN-Diffusion) 的专用解决方案。