TensorRT: 用于在 NVIDIA GPU 上加速 AI 模型的高性能推理优化器和运行时

它解决了什么问题

TensorRT 旨在加速 AI 推理工作流，优化深度学习模型在 NVIDIA GPU 上的部署性能。它提供了从各种框架导入模型并针对高效执行进行优化的工具。

工作原理

TensorRT 通过多种导入路径优化 AI 模型，包括 ONNX、Torch-TensorRT、HuggingFace/Optimum 以及 Network Definition API。它支持广泛的模型类型，包括 LLMs、encoder-NLP、vision、audio、diffusion 和 multimodal 模型。该项目的开源组件包括 ONNX parser 和 TensorRT plugins，允许开发者扩展平台的功能。

适用人群

它适用于需要在 NVIDIA 硬件上部署高性能推理的 AI 开发者和工程师，包括 x86_64 和 aarch64 (Jetson/DriveOS) 平台。

亮点

• 广泛的导入支持：兼容 ONNX、Torch-TensorRT 和 HuggingFace/Optimum。
• 多样化的模型兼容性：支持 LLMs、vision、audio 和 multimodal 模型。
• 灵活的部署：提供预构建的 Python packages 以实现轻松安装，并为各种 OS 和硬件目标提供广泛的构建选项。
• 可扩展性：包括开源 plugins 和 ONNX parser，用于自定义和优化模型执行。