TensorRT: 一款由 NVIDIA 提供動力的 PyTorch 模型推理加速器，可將延遲降低高達 5 倍

它解決了什麼問題

Torch-TensorRT 提供了一種在 NVIDIA GPU 上加速 PyTorch 模型推理性能的方法。它解決了 eager execution 模式下推理延遲緩慢的問題，潛在可將延遲降低高達 5 倍。

運作原理

它將 NVIDIA 的 TensorRT 優化引擎整合到 PyTorch 生態系統中。使用者可以透過兩種主要方法進行優化：

1. torch.compile: 一行程式碼整合，將後端設置為 "tensorrt"，允許模型在第一次執行時進行編譯。
2. Export workflow: 一種提前優化與序列化流程，允許模型在 PyTorch 或 C++ 環境（透過 libtorch）中部署，而無需 Python 依賴。

對象是誰

在 NVIDIA 硬體上部署 PyTorch 模型，並需要最大化推理速度與效率的開發人員和機器學習工程師。

重點摘要

• 高性能推理加速（比 eager execution 快高達 5 倍）。
• 與 torch.compile 無縫整合，便於快速原型設計。
• 支援提前序列化以進行 C++ 部署。
• 相容於 Diffusion models、來自 Hugging Face 的 LLMs 以及 FP8 精度。
• 廣泛的平台支援，涵蓋 Linux (AMD64, SBSA) 與 Windows (僅限 Dynamo)。