NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

解決的問題

TensorRT 旨在加速 AI 推理工作流，允許開發人員針對 NVIDIA GPU 的高性能部署優化深度學習模型。

工作原理

它提供了一個平台，可以透過多種路徑匯入模型——包括 ONNX、Torch-TensorRT、HuggingFace/Optimum 以及 Network Definition API——然後針對推理進行優化。該專案的開源組件包括 ONNX 解析器、TensorRT 插件以及展示平台能力的範例應用程式。

適用對象

需要在 NVIDIA 硬體（包括 x86_64 與 aarch64 (Jetson/DriveOS) 平台）上跨各種模態（LLM、視覺、音訊、擴散模型與多模態）部署高性能深度學習模型的 AI 開發人員與工程師。

相關

  • 專案
    onnx/onnx-tensorrt

    一個用於 ONNX 的 TensorRT 後端，用於解析 ONNX 模型以便在 NVIDIA GPU 上進行高性能執行。

  • 專案
    wang-xinyu/tensorrtx

    使用 TensorRT 網路定義 API 實作的深度學習網路集合，可在 NVIDIA GPU 上實現彈性、可調試且高效率的推論。

  • 專案
    NVIDIA/TensorRT-LLM

    NVIDIA 的開源最佳化函式庫，可最大化 LLM 和視覺生成模型在 NVIDIA GPU 上的推理效能、吞吐量和效率。

  • 專案
    pytorch/TensorRT

    Torch-TensorRT 將 NVIDIA TensorRT 集成至 PyTorch 中，透過簡單的編譯或匯出工作流程，使 NVIDIA GPU 上的推論延遲最高降低 5 倍。

  • 專案
    NVIDIA/TensorRT-Edge-LLM

    一個用於在 NVIDIA Jetson、DRIVE 和 DGX Spark 邊緣平台上部署文字、視覺、音訊和語音模型的高性能 C++ 推論執行時。