onnx/onnx-tensorrt

해결하는 문제

ONNX 모델을 NVIDIA의 TensorRT를 사용하여 파싱하고 실행할 수 있는 방법을 제공하며, 개발자가 NVIDIA GPU에서 고성능 추론을 위해 AI 모델을 최적화하고 실행할 수 있게 합니다.

작동 방식

이 프로젝트는 ONNX의 백엔드 역할을 하여 ONNX 모델 정의를 TensorRT가 실행할 수 있는 형식으로 변환합니다. 최신 TensorRT 버전의 전체 차원 및 동적 형태 지원을 제공합니다. 또한 모델을 로드하고 추론을 실행하기 위한 C++ 및 Python API를 제공하며, 엔진을 테스트하고 구축하기 위한 trtexec 및 polygraphy와 같은 도구도 포함합니다.

대상 사용자

TensorRT를 사용하여 NVIDIA 하드웨어에 배포하기 위해 ONNX 모델을 최적화해야 하는 개발자 및 AI 엔지니어.

주요 특징

• 최신 TensorRT 11.4 및 ONNX 릴리스 1.21.0을 지원합니다.
• 통합을 위한 C++ 및 Python 바인딩을 모두 제공합니다.
• ONNX 모델이 성공적으로 파싱되고 TensorRT 엔진으로 구축될 수 있는지 확인하는 도구를 포함합니다.
• InstanceNormalization과 같은 특정 연산자에 대한 유연한 구현 옵션을 제공합니다.