NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

What it solves

TensorRT는 AI 추론 워크플로를 가속화하도록 설계되었으며, NVIDIA GPU에서 딥러닝 모델을 배포하기 위한 성능을 최적화합니다. 다양한 프레임워크에서 모델을 가져와 고효율 실행을 위해 최적화하는 도구를 제공합니다.

How it works

TensorRT는 ONNX, Torch‑TensorRT, HuggingFace/Optimum, Network Definition API 등 여러 가져오기 경로를 통해 AI 모델을 최적화합니다. LLM, 인코더‑NLP, 비전, 오디오, 디퓨전, 멀티모달 모델 등 다양한 모델 유형을 지원합니다. 프로젝트의 오픈소스 구성 요소에는 ONNX 파서와 TensorRT 플러그인이 포함되어 있어 개발자가 플랫폼 기능을 확장할 수 있습니다.

Who it’s for

NVIDIA 하드웨어(x86_64 및 aarch64(Jetson/DriveOS) 플랫폼)에서 고성능 추론을 배포해야 하는 AI 개발자와 엔지니어를 위한 것입니다.

Highlights

  • Broad Import Support: Compatible with ONNX, Torch‑TensorRT, and HuggingFace/Optimum.
  • Diverse Model Compatibility: Supports LLMs, vision, audio, and multimodal models.
  • Flexible Deployment: Provides prebuilt Python packages for easy installation and extensive build options for various OS and hardware targets.
  • Extensible: Includes open‑source plugins and an ONNX parser to customize and optimize model execution.