FeiYull/TensorRT-Alpha

TensorRT‑Alpha – ビジョンモデルのための高速なTensorRTデプロイメント

概要 – 主要なコンピュータビジョンネットワーク（YOLOシリーズ、EfficientDet、U‑2‑Net、face‑meshなど）をPyTorchからONNX経由でTensorRTに変換し、NVIDIA GPU上でカスタムのマルチバッチ前処理、デコード、NMSを用いて実行する方法を示すC++/CUDAのサンプル集です。

主なポイント

• サポートプラットフォーム – Ubuntu 18.04およびWindows 10（CUDA 11.3、cuDNN 8.2、TensorRT 8.4.2.4、OpenCV 3/4、および最新のGCCまたはVisual Studioが必要）。
• モデル – 30種類以上の事前構築済みパイプラインを提供（YOLOv3‑v8、YOLOX、YOLO‑R、EfficientDet、PP‑HumanSeg、U‑2‑Net、libfacedetection、facemeshなど）。リポジトリでは、WeiyunまたはGoogle Driveのリンクを通じて、すぐに使用可能なONNXファイルも提供しています。
• パフォーマンス重視 – 画像の前処理、推論、後処理（デコード + NMS）のために独自のCUDAカーネルを実装し、レイテンシを最小限に抑えています。RTX 2070 Mobileでの実行例（yolov8‑n, 1080pビデオ, 8‑batch, GPU使用率約14%, VRAM使用量約1GB）が示されています。
• 精度 – 著者らは、元のPyTorch/ONNXの結果と「厳密な精度の一致」を主張しており、公式の出力とTensorRT‑Alphaの出力を並べたスクリーンショットで比較しています。
• 開始方法 –
  1. Python 3.8のconda環境を作成し（オプション）、Pythonの要件をインストールします。
  2. リポジトリをクローンし、cmake/common.cmakeを編集してTensorRT_ROOTをTensorRTのインストール先に設定します。
  3. CMakeでビルドし、各モデルのREADME（例：yolov8/README.md）に従って実行します。
• インストールガイド – Ubuntu 18.04向けのステップバイステップガイドと、Linuxユーザー向けのDockerfileが提供されています。
• 引用 – 学術利用のためのBibTeXエントリが含まれています。

対象ユーザー – NVIDIAハードウェア上でビジョンモデルの低レイテンシ推論が必要で、TensorRTプラグインを自作することなく、バッチ前処理とNMSが組み込まれたC++/CUDAコードベースを好むエンジニア。

---

上記の情報はすべて、リポジトリのREADMEから直接引用したものです。