NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

解决的问题

TensorRT 是一个高性能推理优化器和运行时，可加速 AI 模型在 NVIDIA GPU 上的部署。它专注于降低延迟并提高各种模态（包括 LLM、视觉、音频和多模态模型）的 AI 推理工作负载的吞吐量。

工作原理

TensorRT 通过提供专门的导入路径（如 ONNX、Torch-TensorRT 和 HuggingFace/Optimum）以及网络定义 API 来优化模型。它利用强类型网络和显式量化等技术来提高性能。该项目的开源组件包括 ONNX 解析器和 TensorRT 插件，允许开发者使用自定义层扩展库。

适用人群

需要在 NVIDIA 硬件（包括 Jetson、DriveOS 和数据中心 GPU）上部署优化、低延迟 AI 模型的 AI 工程师和开发者。

亮点

  • 广泛的模型支持：支持多种模型，包括 LLM、编码器 NLP、视觉、音频和扩散模型。
  • 可扩展架构：提供开源插件系统，用于实现自定义层。
  • 多平台部署：支持 Linux（x86_64 和 aarch64）、Windows 以及 DriveOS 和 QNX 等专用环境。
  • 简化 API：最近的更新（v11.X）简化了 API，向强类型网络和显式量化迈进。

相关

  • 项目
    onnx/onnx-tensorrt

    一个用于 ONNX 的 TensorRT 后端，可解析 ONNX 模型，以在 NVIDIA GPU 上实现高性能执行。

  • 项目
    wang-xinyu/tensorrtx

    使用 TensorRT 网络定义 API 实现的深度学习网络集合，可在 NVIDIA GPU 上实现灵活、可调试且高性能的推理。

  • 项目
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM 是 NVIDIA 的开源库，可将大型语言模型（以及视觉生成模型）编译成超快的 TensorRT 推理引擎。它提供自定义 CUDA 内核、量化、稀疏注意力、推测解码和多 GPU 并行，在保持准确性的同时，令牌吞吐量提高 2-10 倍。Python 友好的运行时与 Triton、Kubernetes 和 Jetson 集成，并包含 GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1 和扩散模型等模型的文档和示例。

  • 项目
    FeiYull/TensorRT-Alpha

    一个用于 YOLO 模型的高性能 C++ 推理框架，利用自定义 CUDA 内核实现端到端 GPU 处理，最大限度地减少 CPU 开销。

  • 项目
    NVIDIA/TensorRT-Edge-LLM

    TensorRT Edge‑LLM 是 NVIDIA 的 C++/Python 推理运行时，可在 Jetson、DRIVE 和 DGX Spark 边缘硬件上运行 LLM 和多模态模型。它将 Hugging Face 检查点转换为 TensorRT 引擎（通过 ONNX 或直接构建器），提供量化、飞行中批处理、推测解码，以及 vLLM 风格的 Python API 和 OpenAI 兼容服务器。该库面向汽车、机器人、工业物联网和消费级边缘用例，可在资源受限的 GPU 上实现高吞吐、低延迟推理。