nndeploy/nndeploy

解決する課題

nndeployは、エッジデバイスおよびローカルハードウェア上のAIアルゴリズムのデプロイを簡素化・高速化することを目的としています。Windows、macOS、Android、iOS、NVIDIA Jetson、Ascend、RKなど多様なプラットフォームへのモデル移植の課題と、リアルタイム推論に最適化されたパフォーマンスの実現を解決します。

動作方法

このフレームワークは、ユーザーがノードをドラッグアンドドロップしてAIパイプラインを構築できる視覚的なワークフローエディタを使用しています。これらのワークフローはJSONファイルとしてエクスポートされ、C++またはPython APIを介して読み込まれて実行できます。高性能を確保するために、TensorRT、ONNXRuntime、OpenVINOなど13種類の異なる推論エンジンを統合し、パイプライン並列処理、ゼロコピーメモリ管理、メモリプールなどの最適化戦略を実装しています。

対象ユーザー

複数のプラットフォーム間でモデルをデプロイし、各ハードウェアターゲットごとにコードを再記述せずにクロスプラットフォーム互換性を維持したいAI開発者やエンジニア向けです。

主な特徴

• 視覚的ワークフロー：リアルタイムでのパラメータ調整が可能なドラッグアンドドロップインターフェースで、AIパイプラインの構築とデバッグが可能。
• マルチプラットフォーム対応：デスクトップ、モバイル、エッジコンピューティングデバイス間で一貫したデプロイが可能。
• 拡張性：PythonまたはC++/CUDAで書かれたカスタムノードをサポートし、特殊な前処理や高性能なロジックを実装可能。
• 広範なエンジン統合：13の主流推論フレームワークと深く統合されており、特定のハードウェアに最適なエンジンを選択できる。
• 即時利用可能なモデル：LLM（QWen）、画像生成（Stable Diffusion）、OCR、オブジェクト検出（YOLOシリーズ）用の事前デプロイ済みノードを提供。