FeiYull/TensorRT-Alpha

TensorRT‑Alpha – 비전 모델을 위한 빠른 TensorRT 배포

개요 – 주요 컴퓨터 비전 네트워크(YOLO 시리즈, EfficientDet, U‑2‑Net, face‑mesh 등)를 PyTorch에서 ONNX를 거쳐 TensorRT로 변환하고, NVIDIA GPU에서 사용자 정의 멀티 배치 전처리, 디코딩 및 NMS를 사용하여 실행하는 방법을 보여주는 C++/CUDA 예제 모음입니다.

주요 특징

• 지원 플랫폼 – Ubuntu 18.04 및 Windows 10 (CUDA 11.3, cuDNN 8.2, TensorRT 8.4.2.4, OpenCV 3/4 및 최신 GCC 또는 Visual Studio 필요).
• 모델 – 30개 이상의 사전 구축된 파이프라인 제공 (YOLOv3‑v8, YOLOX, YOLO‑R, EfficientDet, PP‑HumanSeg, U‑2‑Net, libfacedetection, facemesh 등). 저장소는 Weiyun 또는 Google Drive 링크를 통해 즉시 사용 가능한 ONNX 파일을 제공합니다.
• 성능 중심 – 이미지 전처리, 추론 및 후처리(디코딩 + NMS)를 위해 자체 CUDA 커널을 구현하여 지연 시간을 최소화했습니다. RTX 2070 Mobile에서의 예시 수치(yolov8‑n, 1080p 비디오, 8‑batch, GPU 사용률 약 14%, VRAM 약 1GB)가 제공됩니다.
• 정확도 – 저자는 원본 PyTorch/ONNX 결과와 "엄격한 정밀도 일치"를 주장하며, 공식 출력과 TensorRT‑Alpha 출력을 나란히 비교한 스크린샷을 제공합니다.
• 시작하기 –
  1. Python 3.8 conda 환경을 생성하고(선택 사항) Python 요구 사항을 설치합니다.
  2. 저장소를 복제하고 cmake/common.cmake를 편집하여 TensorRT_ROOT를 TensorRT 설치 경로로 지정합니다.
  3. CMake로 빌드하고 모델별 README(예: yolov8/README.md)에 따라 실행합니다.
• 설치 문서 – Ubuntu 18.04를 위한 상세 단계별 가이드와 Linux 사용자를 위한 Dockerfile이 제공됩니다.
• 인용 – 학술적 용도를 위한 BibTeX 항목이 포함되어 있습니다.

대상 사용자 – NVIDIA 하드웨어에서 비전 모델의 저지연 추론이 필요하며, 직접 TensorRT 플러그인을 작성하지 않고도 배치 전처리와 NMS가 처리된 C++/CUDA 코드베이스를 선호하는 엔지니어.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것입니다.