NVIDIA/TensorRT-LLM

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

TensorRT‑LLM – 大規模言語モデルのための高速で本番レベルの推論

概要 TensorRT‑LLM は NVIDIA のオープンソースライブラリで、学習済みの LLM（またはビジュアル生成モデル）を高度に最適化された推論エンジンに変換します。これは、モデルで最もコストのかかる操作（アテンション、GEMM、KV キャッシュ処理など）用のカスタム CUDA カーネルを生成し、既存のサービングスタックにプラグインできる Python フレンドリーなランタイムでラップすることで実現されます。

なぜ重要なのか 単一の GPU で 30B パラメータモデルをインタラクティブなレイテンシで実行することは、素の PyTorch や ONNX 実装では汎用カーネルとメモリ移動に多くの時間を費やすため困難です。TensorRT‑LLM はこれらを手調整のカーネルに置き換え、INT8/FP8 量子化、スパースアテンション、投機的デコード、マルチ GPU 並列処理をサポートし、2〜10 倍のトークンスループットと低レイテンシを同じモデル精度で実現します。

主な機能（README より）

アテンション、GEMM、KV キャッシュ再利用のための専用カーネル。
スパース、量子化、混合精度推論（FP8、INT8、FP16）のサポート。
投機的 / N-gram デコードとガイド付きデコードによるスループット向上。
MoE モデル向けの分散データ並列処理（DWDP）とエキスパート並列処理。
NVIDIA Triton Inference Server と Kubernetes オートスケーリングとの統合。
ランタイムの拡張・カスタマイズが可能な Pythonic API。
GPT‑OSS‑120B、DeepSeek‑R1、Llama‑4、拡散モデルなどのすぐ実行可能な例。
ドキュメント、パフォーマンスガイド、将来の最適化ロードマップ。

典型的なユースケース

レイテンシとコストが重要な本番サービスでのチャット型 LLM（GPT‑OSS、Llama、DeepSeek）のデプロイ。
ビジュアル AI ワークロード向けの拡散モデルやビデオ生成モデルの高速化。
高スループットのバッチジョブ向けにマルチノード GPU クラスタ（HGX、Blackwell、GH200）での推論をスケーリング。
高速なトークン生成（コード補完、検索、レコメンデーション）を必要とする AI 強化アプリケーションの構築。

エコシステムと統合

CUDA 13.x、PyTorch 2.14、Python 3.10/3.12 に対応。
NVIDIA Triton、BentoML、AWS EKS、Jetson AGX Orin などのデプロイツールと組み合わせ可能。
ONNX にエクスポートされたモデル形式をサポートし、TensorRT エンジンにコンパイル。
エンドツーエンドのパイプライン（モデル変換、エンジン構築、サービング）を解説するブログとチュートリアルを提供。

始め方（概要）

サポートされている NVIDIA GPU と CUDA を搭載したマシンにパッケージをインストール（ビルド済みホイールまたはソースからビルド）。
モデルを ONNX に変換（または提供されたチェックポイントを使用）し、trtllm 変換スクリプトを実行して TensorRT エンジンを生成。
Python API で推論を実行するか、エンジンを指す Triton モデルリポジトリを起動。
提供されたフラグ（バッチサイズ、精度、KV キャッシュ再利用、投機的デコード）を使用してパフォーマンスを調整し、ハードウェア用のパフォーマンスガイドを参照。

結論 TensorRT‑LLM は、LLM および関連する生成モデルに対して最新の NVIDIA GPU から最大の推論パフォーマンスを引き出し、研究レベルのモデルをコスト効率の高いサービスに変える、本番に特化したツールキットです。