Tencent/ncnn

ncnn is a high-performance neural network inference framework optimized for the mobile platform

What it solves

ncnn 是一个高性能神经网络推理框架，旨在让在资源受限的设备（如手机、嵌入式系统、PC 和浏览器）上部署深度学习模型变得更加容易且高效。

How it works

它提供了一个轻量级的运行时，没有第三方依赖，允许它在 CPU 和 Vulkan GPU 后端上运行。为了将模型导入框架，它包括了 pnnx 等工具，用于将模型从 PyTorch 和 ONNX 格式转换为 ncnn 格式。

Who it's for

需要将 AI 模型部署到边缘设备、移动应用或桌面软件，且不依赖于沉重的外部运行时。

Highlights

  • 高性能推理，针对移动端和嵌入式部署进行了优化。
  • 无第三方运行时依赖。
  • 支持 CPU 和 Vulkan GPU 后端。
  • 包括 pnnx，用于从 PyTorch 和 ONNX 进行无缝转换。
  • 广泛的平台支持，包括 Android, iOS, Windows, macOS, Linux, WebAssembly, 和 HarmonyOS。