nndeploy/nndeploy

해결하는 문제

nndeploy는 엣지 디바이스 및 로컬 하드웨어에서 AI 알고리즘을 배포하는 것을 단순화하고 가속화하기 위해 설계되었습니다. Windows, macOS, Android, iOS, NVIDIA Jetson, Ascend, RK 등 다양한 플랫폼으로 모델을 이식하는 어려움과 실시간 추론을 위한 성능 최적화 문제를 해결합니다.

작동 방식

사용자는 시각적 워크플로우 편집기를 통해 노드를 드래그 앤 드롭하여 AI 파이프라인을 구축합니다. 이러한 워크플로우는 JSON 파일로 내보내져 C++ 또는 Python API를 통해 로드하고 실행할 수 있습니다. 고성능을 보장하기 위해 TensorRT, ONNXRuntime, OpenVINO 등 13개의 다양한 추론 엔진을 통합하고, 파이프라인 병렬 처리, 제로코피 메모리 관리, 메모리 풀링과 같은 최적화 전략을 구현합니다.

대상 사용자

다양한 플랫폼 간에 모델을 배포하고, 각 하드웨어 타겟에 맞게 코드를 다시 작성하지 않고도 크로스플랫폼 호환성을 유지하고자 하는 AI 개발자 및 엔지니어를 위한 것입니다.

주요 특징

• 시각적 워크플로우: 실시간 파라미터 조정이 가능한 드래그 앤 드롭 인터페이스로 AI 파이프라인을 구축하고 디버깅할 수 있습니다.
• 다중 플랫폼 지원: 데스크톱, 모바일, 엣지 컴퓨팅 디바이스 간에 통합된 배포가 가능합니다.
• 확장성: Python 또는 C++/CUDA로 작성된 사용자 정의 노드를 지원하여 특수한 전처리 또는 고성능 로직을 구현할 수 있습니다.
• 광범위한 엔진 통합: 13개의 주요 추론 프레임워크와 깊이 통합되어 있으며, 특정 하드웨어에 최적화된 엔진을 선택할 수 있습니다.
• 즉시 사용 가능한 모델: LLM(QWen), 이미지 생성(Stable Diffusion), OCR, 객체 탐지(YOLO 시리즈)용 사전 배포된 노드를 제공합니다.