Tencent/ncnn

ncnn is a high-performance neural network inference framework optimized for the mobile platform

What it solves

ncnn 是一个高性能神經網絡推理框架，旨在讓在資源受限的設備（如手機、嵌入式系統、PC 和瀏覽器）上部署深度學習模型變得更加容易且高效。

How it works

它提供了一個輕量級的運行時，沒有任何第三方依賴，使其能夠在 CPU 和 Vulkan GPU 後端上運行。為了將模型導入框架，它包含了像 pnnx 這樣的工具，用於將模型從 PyTorch 和 ONNX 格式轉換為 ncnn 格式。

Who it's for

需要將 AI 模型部署到邊緣設備、行動應用程序或桌面軟件，且不希望依賴沉重的外部運行時的開發者。

Highlights

  • 高性能推理，針對行動和嵌入式部署進行了優化。
  • 零第三方運行時依賴。
  • 支持 CPU 和 Vulkan GPU 後端。
  • 包含 pnnx，用於從 PyTorch 和 ONNX 進行無縫轉換。
  • 廣泛的平台支持，包括 Android, iOS, Windows, macOS, Linux, WebAssembly, 和 HarmonyOS。