NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

解決する課題

TensorRTは、NVIDIA GPU上でのAIモデルのデプロイを高速化する、高性能な推論オプティマイザーおよびランタイムです。LLM、ビジョン、オーディオ、マルチモーダルモデルなど、さまざまなモダリティにわたるAI推論ワークフローのレイテンシを低減し、スループットを向上させることに重点を置いています。

仕組み

TensorRTは、専用のインポートパス（ONNX、Torch-TensorRT、HuggingFace/Optimumなど）とNetwork Definition APIを提供することでモデルを最適化します。また、強く型付けされたネットワークや明示的な量子化などの技術を活用してパフォーマンスを向上させます。このプロジェクトのオープンソースコンポーネントには、ONNXパーサーとTensorRTプラグインが含まれており、開発者はカスタムレイヤーでライブラリを拡張できます。

対象者

NVIDIAハードウェア（Jetson、DriveOS、データセンターGPUを含む）上で、最適化された低レイテンシのAIモデルをデプロイする必要があるAIエンジニアおよび開発者。

ハイライト

  • 幅広いモデルサポート: LLM、エンコーダーNLP、ビジョン、オーディオ、拡散モデルなど、幅広いモデルをサポート。
  • 拡張可能なアーキテクチャ: カスタムレイヤー実装のためのオープンソースのプラグインシステムを提供。
  • マルチプラットフォーム展開: Linux（x86_64およびaarch64）、Windows、DriveOSやQNXなどの特殊な環境をサポート。
  • 合理化されたAPI: 最近のアップデート（v11.X）によりAPIが合理化され、強く型付けされたネットワークと明示的な量子化へと移行。

関連

  • プロジェクト
    onnx/onnx-tensorrt

    ONNXモデルを解析してNVIDIA GPU上で高性能な実行を実現するTensorRTバックエンド。

  • プロジェクト
    wang-xinyu/tensorrtx

    TensorRT のネットワーク定義 API を使用して、NVIDIA GPU 上で柔軟でデバッグ可能かつ高性能な推論を実現するディープラーニングネットワークの実装集です。

  • プロジェクト
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM は、大規模言語モデル（およびビジュアル生成モデル）を超高速 TensorRT 推論エンジンにコンパイルする NVIDIA のオープンソースライブラリです。カスタム CUDA カーネル、量子化、スパースアテンション、投機的デコード、マルチ GPU 並列処理を提供し、精度を維持しながらトークンスループットを 2〜10 倍向上させます。Python フレンドリーなランタイムは Triton、Kubernetes、Jetson と統合され、GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1、拡散モデルなどのドキュメントと例が含まれています。

  • プロジェクト
    FeiYull/TensorRT-Alpha

    カスタム CUDA カーネルを使用してエンドツーエンドの GPU 処理を行い、CPU オーバーヘッドを最小限に抑える YOLO モデル向け高性能 C++ 推論フレームワーク。

  • プロジェクト
    NVIDIA/TensorRT-Edge-LLM

    TensorRT Edge‑LLMは、NVIDIAのC++/Python推論ランタイムで、Jetson、DRIVE、DGX Sparkエッジハードウェア上でLLMおよびマルチモーダルモデルを実行します。Hugging FaceチェックポイントをONNX経由または直接ビルダーでTensorRTエンジンに変換し、量子化、インフィライトバッチ処理、予測的デコード、vLLMスタイルのPython APIとOpenAI互換サーバーを提供します。自動車、ロボット工学、産業IoT、消費者エッジ用途をターゲットとし、リソース制約のあるGPU上で高スループット・低遅延推論を実現します。