NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

해결하는 문제

TensorRT는 NVIDIA GPU에서 AI 모델 배포를 가속화하는 고성능 추론 최적화 프로그램이자 런타임입니다. LLM, 비전, 오디오, 멀티모달 모델을 포함한 다양한 AI 추론 워크플로우의 지연 시간을 줄이고 처리량을 높이는 데 중점을 둡니다.

작동 방식

TensorRT는 ONNX, Torch-TensorRT, HuggingFace/Optimum과 같은 특수 가져오기 경로와 네트워크 정의 API를 제공하여 모델을 최적화합니다. 강력한 형식의 네트워크와 명시적 양자화와 같은 기술을 활용하여 성능을 향상시킵니다. 프로젝트의 오픈 소스 구성 요소에는 ONNX 파서와 TensorRT 플러그인이 포함되어 있어 개발자가 사용자 정의 레이어로 라이브러리를 확장할 수 있습니다.

대상 사용자

Jetson, DriveOS, 데이터 센터 GPU를 포함한 NVIDIA 하드웨어에서 최적화된 저지연 AI 모델을 배포해야 하는 AI 엔지니어와 개발자.

주요 특징

  • 광범위한 모델 지원: LLM, 인코더 NLP, 비전, 오디오, 확산 모델을 포함한 다양한 모델을 지원합니다.
  • 확장 가능한 아키텍처: 사용자 정의 레이어 구현을 위한 오픈 소스 플러그인 시스템을 제공합니다.
  • 멀티 플랫폼 배포: Linux(x86_64 및 aarch64), Windows, DriveOS 및 QNX와 같은 특수 환경을 지원합니다.
  • 간소화된 API: 최근 업데이트(v11.X)는 API를 간소화하여 강력한 형식의 네트워크와 명시적 양자화를 지향합니다.

관련

  • 프로젝트
    onnx/onnx-tensorrt

    ONNX 모델을 NVIDIA GPU에서 고성능 실행을 위해 파싱하는 TensorRT 백엔드입니다.

  • 프로젝트
    wang-xinyu/tensorrtx

    TensorRT 네트워크 정의 API를 사용하여 NVIDIA GPU에서 유연하고 디버깅 가능하며 고성능 추론을 위한 딥러닝 네트워크 구현 모음입니다.

  • 프로젝트
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM은 NVIDIA의 오픈 소스 라이브러리로, 대규모 언어 모델(및 비주얼 생성 모델)을 초고속 TensorRT 추론 엔진으로 컴파일합니다. 사용자 정의 CUDA 커널, 양자화, 스파스 어텐션, 투기적 디코딩, 멀티 GPU 병렬 처리를 제공하며 정확도를 유지하면서 토큰 처리량을 2~10배 높입니다. Python 친화적 런타임은 Triton, Kubernetes, Jetson과 통합되며 GPT‑OSS‑120B, Llama‑4, DeepSeek‑R1, 확산 모델 등의 문서와 예제를 포함합니다.

  • 프로젝트
    FeiYull/TensorRT-Alpha

    사용자 정의 CUDA 커널을 사용하여 엔드투엔드 GPU 처리를 수행하고 CPU 오버헤드를 최소화하는 YOLO 모델용 고성능 C++ 추론 프레임워크.

  • 프로젝트
    NVIDIA/TensorRT-Edge-LLM

    TensorRT Edge‑LLM은 NVIDIA의 C++/Python 추론 런타임으로, Jetson, DRIVE, DGX Spark 에지 하드웨어에서 LLM 및 멀티모달 모델을 실행합니다. Hugging Face 체크포인트를 ONNX를 통해 또는 직접 빌더로 TensorRT 엔진으로 변환하며, 양자화, 인플라이트 배치, 사전 추론, vLLM 스타일의 Python API와 OpenAI 호환 서버를 제공합니다. 자동차, 로봇공학, 산업 IoT, 소비자 에지 분야를 대상으로, 자원 제약이 있는 GPU에서 고스루풋, 저지연 추론을 실현합니다.