nndeploy/nndeploy

解决的问题

nndeploy 旨在简化并加速 AI 算法在边缘设备和本地硬件上的部署。它解决了将模型移植到多种平台（Windows、macOS、Android、iOS、NVIDIA Jetson、Ascend、RK）的挑战，并优化了实时推理的性能。

工作原理

该框架使用可视化工作流编辑器，用户可以通过拖拽节点来构建 AI 流水线。这些工作流被导出为 JSON 文件，随后可通过 C++ 或 Python API 加载并执行。为确保高性能，它集成了 13 种不同的推理引擎（如 TensorRT、ONNXRuntime 和 OpenVINO），并实现了流水线并行、零拷贝内存管理、内存池等优化策略。

适用人群

适用于需要在多个平台间部署模型，并实现跨平台兼容性，而无需为每个硬件目标重写代码的 AI 开发者和工程师。

主要亮点

• 可视化工作流：支持拖拽式界面构建和调试 AI 流水线，并可实时调整参数。
• 多平台支持：统一部署于桌面、移动和边缘计算设备。
• 可扩展性：支持使用 Python 或 C++/CUDA 编写的自定义节点，用于特殊预处理或高性能逻辑。
• 广泛引擎集成：深度集成 13 个主流推理框架，用户可根据特定硬件选择最佳引擎。
• 开箱即用模型：提供 LLM（QWen）、图像生成（Stable Diffusion）、OCR 和目标检测（YOLO 系列）的预部署节点。