onnx/onnx-tensorrt

해결하는 문제

NVIDIA의 TensorRT를 사용하여 ONNX 모델을 파싱하고 실행하는 방법을 제공하여, 개발자가 NVIDIA GPU에서 고성능 추론을 위해 AI 모델을 최적화하고 실행할 수 있도록 합니다.

작동 방식

이 프로젝트는 ONNX의 백엔드 역할을 수행하며, ONNX 모델 정의를 TensorRT가 실행할 수 있는 형식으로 변환합니다. 전체 차원(full-dimensions) 및 동적 형상(dynamic shapes)을 지원하며, 애플리케이션에 파서를 통합하기 위한 C++ 및 Python API를 모두 제공합니다.

대상

NVIDIA 하드웨어에서 ONNX 형식 모델의 실행을 최적화해야 하는 개발자 및 머신러닝 엔지니어.

주요 특징

• TensorRT 11.2 및 ONNX 릴리스 1.21.0 지원.
• 쉬운 통합을 위한 C++ 및 Python 바인딩 제공.
• 빠른 모델 검증 및 벤치마킹을 위한 trtexec 및 polygraphy와 같은 도구 포함.
• InstanceNormalization과 같은 특정 연산자에 대한 유연한 구현 옵션.
• 동적 형상 및 전체 차원 지원.