NVIDIA/TensorRT
NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.
What it solves
TensorRTはAI推論ワークフローを高速化するために設計されており、NVIDIA GPU上でのディープラーニングモデルのデプロイ向けにパフォーマンスを最適化します。さまざまなフレームワークからモデルをインポートし、高効率実行のために最適化するツールを提供します。
How it works
TensorRTは、ONNX、Torch‑TensorRT、HuggingFace/Optimum、Network Definition API など、複数のインポートパスを通じて AI モデルを最適化します。LLM、エンコーダ‑NLP、ビジョン、オーディオ、拡散、マルチモーダルモデルなど、幅広いモデルタイプに対応しています。プロジェクトのオープンソースコンポーネントには ONNX パーサーと TensorRT プラグインが含まれ、開発者はプラットフォームの機能を拡張できます。
Who it’s for
NVIDIA ハードウェア（x86_64 および aarch64（Jetson/DriveOS）プラットフォーム）上で高性能推論をデプロイする必要がある AI 開発者やエンジニアを対象としています。
Highlights
- Broad Import Support: Compatible with ONNX, Torch‑TensorRT, and HuggingFace/Optimum.
- Diverse Model Compatibility: Supports LLMs, vision, audio, and multimodal models.
- Flexible Deployment: Provides prebuilt Python packages for easy installation and extensive build options for various OS and hardware targets.
- Extensible: Includes open‑source plugins and an ONNX parser to customize and optimize model execution.