NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

해결하는 문제

TensorRT는 AI 추론 워크플로우를 가속화하도록 설계되어 개발자가 NVIDIA GPU에서 고성능 배포를 위해 딥러닝 모델을 최적화할 수 있도록 합니다.

작동 방식

ONNX, Torch-TensorRT, HuggingFace/Optimum 및 Network Definition API를 포함한 다양한 경로를 통해 모델을 가져오고 추론을 위해 최적화할 수 있는 플랫폼을 제공합니다. 이 프로젝트의 오픈 소스 구성 요소에는 ONNX 파서, TensorRT 플러그인 및 플랫폼의 기능을 보여주는 샘플 애플리케이션이 포함됩니다.

대상 사용자

x86_64 및 aarch64 (Jetson/DriveOS) 플랫폼을 포함한 NVIDIA 하드웨어에서 다양한 모달리티(LLM, 비전, 오디오, 확산 모델 및 멀티모달)에 걸쳐 고성능 딥러닝 모델을 배포해야 하는 AI 개발자 및 엔지니어.

관련

  • 프로젝트
    onnx/onnx-tensorrt

    NVIDIA GPU에서 고성능 실행을 위해 ONNX 모델을 파싱하는 ONNX용 TensorRT 백엔드.

  • 프로젝트
    wang-xinyu/tensorrtx

    TensorRT 네트워크 정의 API를 사용하여 NVIDIA GPU에서 유연하고 디버깅 가능하며 고성능 추론을 위한 딥러닝 네트워크 구현 모음입니다.

  • 프로젝트
    NVIDIA/TensorRT-LLM

    NVIDIA GPU에서 LLM 및 시각 생성 모델의 추론 성능, 처리량 및 효율을 극대화하는 NVIDIA의 오픈 소스 최적화 라이브러리입니다.

  • 프로젝트
    pytorch/TensorRT

    Torch-TensorRT는 NVIDIA TensorRT를 PyTorch에 통합하여, 간단한 컴파일 또는 내보내기 워크플로를 통해 NVIDIA GPU에서 추론 지연을 최대 5배까지 가속화합니다.

  • 프로젝트
    NVIDIA/TensorRT-Edge-LLM

    NVIDIA Jetson, DRIVE, DGX Spark 에지 플랫폼에서 텍스트, 비전, 오디오, 음성 모델을 배포하기 위한 고성능 C++ 추론 런타임입니다.