onnx/onnx-tensorrt

解決的問題

它提供了一種使用 NVIDIA TensorRT 解析和執行 ONNX 模型的方法，允許開發人員針對 NVIDIA GPU 進行高性能推理來優化並執行 AI 模型。

工作原理

該專案作為 ONNX 的後端，將 ONNX 模型定義轉換為 TensorRT 可以執行的格式。它支援全維度與動態形狀，並提供 C++ 與 Python API，以便將解析器整合到應用程式中。

適用對象

需要優化在 NVIDIA 硬體上執行 ONNX 格式模型的開發人員與機器學習工程師。

亮點

• 支援 TensorRT 11.2 與 ONNX 1.21.0 版本。
• 提供 C++ 與 Python 綁定以便於整合。
• 包含用於快速模型驗證與基準測試的 trtexec 與 polygraphy 等工具。
• 針對特定算子（如 InstanceNormalization）的靈活實作選項。
• 支援動態形狀與全維度。