NVIDIA/TensorRT-Edge-LLM

TensorRT Edge‑LLM – NVIDIAエッジデバイス向け高性能LLM推論

何であるか – NVIDIAが開発したC++/Pythonランタイムで、Jetson、DRIVE、DGX Sparkなどのエッジプラットフォーム上で大規模言語モデル（LLM）およびマルチモーダルモデル（視覚、音声、話声、行動）を実行します。このフレームワークはHugging Faceのチェックポイントを受け取り、ONNXに変換するか（またはチェックポイントから直接構築）、ターゲットGPU向けに最適化されたTensorRTエンジンにコンパイルします。

主な機能

• エッジ最適化推論 – Jetsonクラスデバイスおよび自動車グレードのハードウェア上で低遅延・低メモリで動作するように設計されています。
• モデル対応 – Gemma 4、Qwen 3、Nemotron‑3.5、Cosmos3‑Edge、DiffusionGemmaなど、多数の最先端モデルの即時実行可能なチェックポイントを提供。オプションで量子化と複数ターンのKVキャッシュ再利用が可能。
• パフォーマンス向上テクニック – インフィライトバッチ処理、予測的デコード（DSpark、DFlash、DDTree）、マルチデバイス（TP=2）推論、ONNXエクスポートステップをスキップする直接エンジンビルダーを搭載。
• 高レベルPython API – vLLMスタイルのAPIに加え、OpenAI互換HTTPサーバー（tensorrt‑edgellm[server]）を提供し、簡単に統合できます。
• 拡張性 – カスタムTensorRT演算子、チャットテンプレート設定のプラグインシステム、カスタムランタイムのカスタマイズガイドを備えています。

一般的なワークフロー

1. 対応モデルリストから対応モデルを選択します。
2. チェックポイントをONNXにエクスポートする（または実験的直接ビルダーを使用）。
3. 提供されたC++ツールまたはPythonヘルパーでTensorRTエンジンを構築します。
4. 事前ビルド済みPythonウェHEELをインストール（pip install tensorrt‑edgellm==0.11.0）。
5. Python APIで推論を実行するか、REST呼び出し用のOpenAI互換サーバーを起動します。

インストール（簡易）

# ターゲットデバイスに互換性のあるCUDA/TensorRTスタックが必要です
pip install tensorrt-edgellm==0.11.0   # 基本パッケージ
# オプションのサーバーサポート
pip install "tensorrt-edgellm[server]"

詳細はQuick Start GuideとSupport Matrixをご覧ください。

パフォーマンス – ドキュメントにリンクされたベンチマークでは、Jetson AGX Thor上で従来ソリューションと比較してMLPerf Edge Agenticスコアが最大6.4倍高速化され、30-Bクラスモデルに対しても高いプレフィルおよび生成スループットを実現しています。

ユースケースのハイライト

• 自動車 – 車内アシスタント、音声制御UI、ドライバー支援認識。
• ロボット工学 – 自然言語コマンド処理、視覚的Q&A、タスク計画。
• 産業用IoT – デバイス内NLPによる監視、予知保全、音声制御機械。
• 消費者エッジ – オフラインチャットボット、プライバシー保護型言語処理、携帯デバイスでの低遅延推論。

ドキュメントとコミュニティ – 完全なドキュメントは https://nvidia.github.io/TensorRT-Edge-LLM/ で、サポートにはイシュー追跡、GitHub Discussions、NVIDIA Developer Forumsをご利用ください。

ライセンス – Apache 2.0。

---

上記のすべての情報は、リポジトリのREADMEおよびリンクされたドキュメントから直接取得しています。