NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

解决的问题

TensorRT 旨在加速 AI 推理工作流，允许开发人员针对 NVIDIA GPU 的高性能部署优化深度学习模型。

工作原理

它提供了一个平台，可以通过多种路径导入模型——包括 ONNX、Torch-TensorRT、HuggingFace/Optimum 和 Network Definition API——然后针对推理进行优化。该项目的开源组件包括 ONNX 解析器、TensorRT 插件以及展示平台能力的示例应用程序。

适用对象

需要在 NVIDIA 硬件（包括 x86_64 和 aarch64 (Jetson/DriveOS) 平台）上跨各种模态（LLM、视觉、音频、扩散模型和多模态）部署高性能深度学习模型的 AI 开发人员和工程师。

相关

  • 项目
    onnx/onnx-tensorrt

    一个用于 ONNX 的 TensorRT 后端，用于解析 ONNX 模型以便在 NVIDIA GPU 上进行高性能执行。

  • 项目
    wang-xinyu/tensorrtx

    使用 TensorRT 网络定义 API 实现的深度学习网络集合，可在 NVIDIA GPU 上实现灵活、可调试且高性能的推理。

  • 项目
    NVIDIA/TensorRT-LLM

    NVIDIA 的开源优化库，可最大化 LLM 和视觉生成模型在 NVIDIA GPU 上的推理性能、吞吐量和效率。

  • 项目
    pytorch/TensorRT

    Torch-TensorRT 将 NVIDIA TensorRT 集成到 PyTorch 中，通过简单的编译或导出工作流，使 NVIDIA GPU 上的推理延迟最高降低 5 倍。

  • 项目
    NVIDIA/TensorRT-Edge-LLM

    一个用于在 NVIDIA Jetson、DRIVE 和 DGX Spark 边缘平台上部署文本、视觉、音频和语音模型的高性能 C++ 推理运行时。