TensorRT: 一個用於在 NVIDIA GPU 上加速 AI 模型的超高性能推理優化器與運行時

它解決了什麼問題

TensorRT 旨在加速 AI 推理工作流程，優化深度學習模型在 NVIDIA GPU 上的部署性能。它提供工具來從各種框架導入模型，並針對高效執行進行優化。

運作原理

TensorRT 通過幾種導入路徑來優化 AI 模型，包括 ONNX、Torch-TensorRT、HuggingFace/Optimum 以及 Network Definition API。它支持廣泛的模型類型，包括 LLMs、encoder-NLP、視覺、音訊、擴散模型 (diffusion) 以及多模態模型。該項目的開源組件包括 ONNX 解析器和 TensorRT 插件，允許開發者擴展平台的功能。

目標對象

它適用於需要在 NVIDIA 硬體（包括 x86_64 和 aarch64 (Jetson/DriveOS) 平台）上部署高性能推理的 AI 開發者與工程師。

重點亮點

• 廣泛的導入支持：兼容 ONNX、Torch-TensorRT 和 HuggingFace/Optimum。
• 多樣化的模型兼容性：支持 LLMs、視覺、音訊以及多模態模型。
• 靈活的部署：提供預建的 Python 套件以實現輕鬆安裝，並為各種 OS 和硬體目標提供廣泛的構建選項。
• 可擴展性：包含開源插件和 ONNX 解析器，用於自定義和優化模型執行。