onnx/onnx-tensorrt

解決する問題

NVIDIAのTensorRTを使用してONNXモデルを解析および実行する方法を提供し、開発者がAIモデルを最適化してNVIDIA GPU上で高性能な推論を実行できるようにします。

仕組み

このプロジェクトはONNXのバックエンドとして機能し、ONNXモデル定義をTensorRTが実行できる形式に変換します。最新のTensorRTバージョンにおける全次元および動的シェイプのサポートを提供します。また、モデルのロードと推論の実行のためのC++およびPython API、ならびにエンジンのテストと構築のためのtrtexecやpolygraphyなどのツールも提供します。

対象者

NVIDIAハードウェア上でのデプロイメントのためにONNXモデルを最適化する必要がある開発者およびAIエンジニア。

特徴

• 最新のTensorRT 11.4およびONNXリリース1.21.0をサポート。
• C++およびPythonバインディングを提供。
• ONNXモデルが解析可能でTensorRTエンジンに変換可能かどうかをチェックするツールを含む。
• InstanceNormalizationなどの特定の演算子に対する柔軟な実装オプションを提供。