triple-mu/YOLOv8-TensorRT

何を解決するか

このプロジェクトは、YOLOv8モデルの高性能推論実装を提供し、NVIDIAのTensorRTを使用して高速化します。ユーザーは学習済みのUltralytics YOLOv8モデルを、PythonまたはC++環境で効率的に実行できます。5つの異なるコンピュータビジョンタスクをサポートしています。

動作方法

ワークフローは3段階のプロセスに従います：PyTorchモデル（.pt）をONNX形式にエクスポートし、そのONNXファイルからTensorRTエンジンを構築し、その後推論を実行します。検出およびセグメンテーション用の特定のエクスポートスクリプトが用意されており、Non-Maximum Suppression（NMS）を内蔵した「End2End」エンジンを生成します。他のタスクは、そのままのエクスポートを使用します。

共有C++コア（libyolov8_core）がCUDAリソースを管理し、前処理および後処理を処理します。システムはバージョンに依存せず、インストールされているTensorRTおよびOpenCVのバージョンを自動検出することで、異なるハードウェアおよびソフトウェア環境での互換性を確保しています。

対象ユーザー

NVIDIA GPU上でYOLOv8モデルを最大のスループットと最小のレイテンシでデプロイする必要がある開発者やAIエンジニア向けです。特にC++プロダクション環境や高性能なPythonアプリケーションで作業している方におすすめです。

特徴

• マルチタスク対応：検出、セグメンテーション、ポーズ推定、回転バウンディングボックス（OBB）、分類をすべて対応。
• C++およびPython対応：軽量なC++バイナリと柔軟なPythonエントリポイントを提供。
• バージョンに依存しないビルド：TensorRTバージョン8〜11およびさまざまなOpenCVバージョンと互換性あり。
• パフォーマンスツール：ベンチマークスクリプトとレイヤーごとのプロファイリングを含み、レイテンシとスループットを分析可能。
• デプロイの柔軟性：DeepStream bboxパーサープラグインとNVIDIA Jetsonデバイスのサポートを含む。