nndeploy/nndeploy

解決的問題

nndeploy 的設計目標是簡化並加速 AI 算法在邊緣裝置與本地硬體上的部署。它解決了將模型移植至多樣化平台（Windows、macOS、Android、iOS、NVIDIA Jetson、Ascend、RK）的挑戰，並針對即時推論進行效能最佳化。

運作方式

此框架使用視覺化工作流程編輯器，使用者可透過拖曳節點來建構 AI 管線。這些工作流程會被匯出為 JSON 檔案，接著可透過 C++ 或 Python API 載入並執行。為確保高效率，它整合了 13 種不同的推論引擎（如 TensorRT、ONNXRuntime、OpenVINO），並實作如管線平行處理、零複製記憶體管理、記憶體池等優化策略。

適用對象

適合需要在多個平台間部署模型，並在不重寫各硬體目標程式碼的情況下實現跨平台相容性的 AI 開發者與工程師。

主要特色

• 視覺化工作流程：支援拖曳式介面建構與除錯 AI 管線，並可即時調整參數。
• 多平台支援：統一部署於桌面、行動裝置與邊緣運算裝置。
• 可擴充性：支援以 Python 或 C++/CUDA 編寫自訂節點，用於特殊前處理或高效率邏輯。
• 廣泛引擎整合：深度整合 13 種主流推論框架，讓使用者可依特定硬體選擇最佳引擎。
• 開箱即用模型：提供 LLM（QWen）、影像生成（Stable Diffusion）、OCR 與物件偵測（YOLO 系列）的預先部署節點。