TensorRT: 为 PyTorch 模型提供 NVIDIA 加速的推理加速器，可降低高达 5 倍的延迟

它解决了什么问题

Torch-TensorRT 提供了一种在 NVIDIA GPU 上加速 PyTorch 模型推理性能的方法。它解决了 eager execution 模式下推理延迟慢的问题，潜在地可将延迟降低高达 5 倍。

工作原理

它将 NVIDIA 的 TensorRT 优化引擎集成到 PyTorch 生态系统中。用户可以通过两种主要方法应用优化：

1. torch.compile: 一行代码集成，将 backend 设置为 "tensorrt"，允许模型在首次运行时进行编译。
2. Export workflow: 一种提前优化的序列化过程，允许模型在 PyTorch 或 C++ 环境（通过 libtorch）中部署，而无需 Python 依赖。

适用人群

在 NVIDIA 硬件上部署 PyTorch 模型并需要最大化推理速度和效率的开发人员和机器学习工程师。

亮点

• 高性能推理加速（比 eager execution 快高达 5 倍）。
• 与 torch.compile 无缝集成，实现快速原型设计。
• 支持用于 C++ 部署的 ahead-of-time 序列化。
• 兼容 Diffusion 模型、来自 Hugging Face 的 LLM 以及 FP8 精度。
• 广泛的平台支持，涵盖 Linux (AMD64, SBSA) 和 Windows (仅限 Dynamo)。