FeiYull/TensorRT-Alpha

TensorRT‑Alpha – 针对视觉模型的快速 TensorRT 部署

简介 – 这是一套 C++/CUDA 示例集合，展示如何将热门的计算机视觉网络（YOLO 系列、EfficientDet、U‑2‑Net、face‑mesh 等）从 PyTorch 转换为 ONNX 再转至 TensorRT，并在 NVIDIA GPU 上通过自定义的多批次预处理、解码与 NMS 进行推理。

重点特色

• 支持平台 – Ubuntu 18.04 与 Windows 10，需搭配 CUDA 11.3、cuDNN 8.2、TensorRT 8.4.2.4、OpenCV 3/4 以及较新的 GCC 或 Visual Studio。
• 模型 – 提供超过 30 种预建管线（YOLOv3‑v8、YOLOX、YOLO‑R、EfficientDet、PP‑HumanSeg、U‑2‑Net、libfacedetection、facemesh 等）。存储库亦通过微云或 Google Drive 链接提供现成的 ONNX 文件。
• 性能导向 – 代码实现了专有的 CUDA kernel 进行图像预处理、推理与后处理（解码 + NMS）以最小化延迟。示例数据显示在 RTX 2070 Mobile 上的表现（yolov8‑n, 1080p 视频, 8‑batch, 约 14% GPU 使用率, 约 1GB VRAM）。
• 准确度 – 作者声称与原始 PyTorch/ONNX 结果保持“严格的精度对齐”；并透过并排截图比较了官方输出与 TensorRT‑Alpha 输出的多个模型结果。
• 如何开始 –
  1. 创建 Python 3.8 conda 环境（可选）并安装 Python 需求包。
  2. 克隆存储库，编辑 cmake/common.cmake 将 TensorRT_ROOT 指向您的 TensorRT 安装路径。
  3. 使用 CMake 构建并运行模型对应的 README（例如 yolov8/README.md）。
• 安装文档 – 提供 Ubuntu 18.04 的详细逐步指南以及 Linux 用户的 Dockerfile。
• 引用 – 包含可直接复制的 BibTeX 条目供学术使用。

适用对象 – 需要在 NVIDIA 硬件上进行低延迟视觉模型推理，且偏好使用已处理批次预处理与 NMS 的 C++/CUDA 代码库，而不想自行编写 TensorRT 插件的工程师。

---

以上所有信息均直接取自该存储库的 README。