FeiYull/TensorRT-Alpha

TensorRT‑Alpha – 針對視覺模型的快速 TensorRT 部署

簡介 – 這是一套 C++/CUDA 範例集合，展示如何將熱門的電腦視覺網路（YOLO 系列、EfficientDet、U‑2‑Net、face‑mesh 等）從 PyTorch 轉換為 ONNX 再轉至 TensorRT，並在 NVIDIA GPU 上透過自訂的多批次預處理、解碼與 NMS 進行推論。

重點特色

• 支援平台 – Ubuntu 18.04 與 Windows 10，需搭配 CUDA 11.3、cuDNN 8.2、TensorRT 8.4.2.4、OpenCV 3/4 以及較新的 GCC 或 Visual Studio。
• 模型 – 提供超過 30 種預建管線（YOLOv3‑v8、YOLOX、YOLO‑R、EfficientDet、PP‑HumanSeg、U‑2‑Net、libfacedetection、facemesh 等）。儲存庫亦透過微雲或 Google Drive 連結提供現成的 ONNX 檔案。
• 效能導向 – 程式碼實作了專屬的 CUDA kernel 進行影像預處理、推論與後處理（解碼 + NMS）以最小化延遲。範例數據顯示在 RTX 2070 Mobile 上的表現（yolov8‑n, 1080p 影片, 8‑batch, 約 14% GPU 使用率, 約 1GB VRAM）。
• 準確度 – 作者聲稱與原始 PyTorch/ONNX 結果保持「嚴格的精度對齊」；並透過並排截圖比較了官方輸出與 TensorRT‑Alpha 輸出的多個模型結果。
• 如何開始 –
  1. 建立 Python 3.8 conda 環境（選用）並安裝 Python 需求套件。
  2. 複製儲存庫，編輯 cmake/common.cmake 將 TensorRT_ROOT 指向您的 TensorRT 安裝路徑。
  3. 使用 CMake 建置並執行模型對應的 README（例如 yolov8/README.md）。
• 安裝文件 – 提供 Ubuntu 18.04 的詳細逐步指南以及 Linux 使用者的 Dockerfile。
• 引用 – 包含可直接複製的 BibTeX 條目供學術使用。

適用對象 – 需要在 NVIDIA 硬體上進行低延遲視覺模型推論，且偏好使用已處理批次預處理與 NMS 的 C++/CUDA 程式碼庫，而不想自行撰寫 TensorRT 外掛的工程師。

---

以上所有資訊均直接取自該儲存庫的 README。