onnx/onnx-tensorrt

解決する課題

NVIDIAのTensorRTを使用してONNXモデルを解析・実行する方法を提供し、開発者がNVIDIA GPU上で高性能な推論を行うためにAIモデルを最適化および実行できるようにします。

仕組み

このプロジェクトはONNXのバックエンドとして機能し、ONNXモデルの定義をTensorRTが実行可能な形式に変換します。フル次元および動的形状をサポートしており、パーサーをアプリケーションに統合するためのC++およびPython APIの両方を提供します。

対象者

NVIDIAハードウェア上でONNX形式のモデルの実行を最適化する必要がある開発者および機械学習エンジニア。

ハイライト

• TensorRT 11.2およびONNXリリース 1.21.0をサポート。
• 容易な統合のためにC++およびPythonバインディングを提供。
• 素早いモデル検証とベンチマークのための trtexec や polygraphy などのツールを含む。
• InstanceNormalizationなどの特定のオペレータに対する柔軟な実装オプション。
• 動的形状とフル次元のサポート。