onnx/onnx-tensorrt

解决的问题

它提供了一种使用 NVIDIA 的 TensorRT 解析和执行 ONNX 模型的方法，使开发人员能够优化并运行 AI 模型，以在 NVIDIA GPU 上实现高性能推理。

工作原理

该项目充当 ONNX 的后端，将 ONNX 模型定义转换为 TensorRT 可以执行的格式。它支持最新 TensorRT 版本的完整维度和动态形状支持。它还提供了 C++ 和 Python API 来加载模型并运行推理，以及 trtexec 和 polygraphy 等工具，用于测试和构建引擎。

适用对象

需要使用 TensorRT 优化其 ONNX 模型以部署在 NVIDIA 硬件上的开发人员和 AI 工程师。

亮点

• 支持最新的 TensorRT 11.4 和 ONNX 1.21.0 版本。
• 提供 C++ 和 Python 绑定，便于集成。
• 包含用于检查 ONNX 模型是否可以成功解析并构建为 TensorRT 引擎的工具。
• 为特定算子（如 InstanceNormalization）提供灵活的实现选项。