onnx/onnx-tensorrt

解决的问题

它提供了一种使用 NVIDIA TensorRT 解析和执行 ONNX 模型的方法，允许开发人员针对 NVIDIA GPU 进行高性能推理来优化并运行 AI 模型。

工作原理

该项目作为 ONNX 的后端，将 ONNX 模型定义转换为 TensorRT 可以执行的格式。它支持全维度和动态形状，并提供 C++ 和 Python API，以便将解析器集成到应用程序中。

适用对象

需要优化在 NVIDIA 硬件上执行 ONNX 格式模型的开发人员和机器学习工程师。

亮点

• 支持 TensorRT 11.2 和 ONNX 1.21.0 版本。
• 提供 C++ 和 Python 绑定以便于集成。
• 包含用于快速模型验证和基准测试的 trtexec 和 polygraphy 等工具。
• 针对特定算子（如 InstanceNormalization）的灵活实现选项。
• 支持动态形状和全维度。