NVIDIA/TensorRT-LLM

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

TensorRT‑LLM – 面向大型语言模型的快速、生产级推理

简介 TensorRT‑LLM 是 NVIDIA 的开源库，可将训练好的 LLM（或视觉生成模型）转换为高度优化的推理引擎。它通过为模型最昂贵的操作（注意力、GEMM、KV 缓存处理等）生成自定义 CUDA 内核，并将其封装在可插入现有服务堆栈的 Python 友好运行时中来实现。

重要性 在单个 GPU 上以交互式延迟运行 30B 参数模型很困难，因为原始 PyTorch 或 ONNX 实现会在通用内核和内存移动上花费大量时间。TensorRT‑LLM 用经过手工调优的内核替换这些实现，支持 INT8/FP8 量化、稀疏注意力、推测解码和多 GPU 并行，在保持相同模型精度的同时，令牌吞吐量提高 2-10 倍，延迟更低。

主要功能（根据 README 说明）

针对注意力、GEMM 和 KV 缓存复用的专用内核。
支持稀疏、量化和混合精度推理（FP8、INT8、FP16）。
推测 / N-gram 解码和引导解码以提高吞吐量。
针对 MoE 模型的分布式权重数据并行（DWDP）和专家并行。
与 NVIDIA Triton Inference Server 和 Kubernetes 自动缩放集成。
允许扩展或自定义运行时的 Pythonic API。
可直接运行的示例，包括 GPT‑OSS‑120B、DeepSeek‑R1、Llama‑4、扩散模型等。
文档、性能指南和未来优化路线图。

典型用例

在延迟和成本至关重要的生产服务中部署聊天式 LLM（GPT‑OSS、Llama、DeepSeek）。
加速视觉 AI 工作负载的扩散或视频生成模型。
为高吞吐量批处理作业跨多节点 GPU 集群（HGX、Blackwell、GH200）扩展推理。
构建需要快速令牌生成（代码补全、搜索、推荐）的 AI 增强应用程序。

生态系统与集成

支持 CUDA 13.x、PyTorch 2.14 和 Python 3.10/3.12。
可与 NVIDIA Triton、BentoML、AWS EKS、Jetson AGX Orin 等部署工具结合使用。
支持导出为 ONNX 的模型格式，然后编译为 TensorRT 引擎。
提供博客和教程，指导端到端管道（模型转换、引擎构建、服务）。

入门（简要概述）

在具有受支持的 NVIDIA GPU 和 CUDA 的机器上安装软件包（预构建的 wheel 或从源代码构建）。
将模型转换为 ONNX（或使用提供的检查点），然后运行 trtllm 转换脚本生成 TensorRT 引擎。
通过 Python API运行推理，或启动指向引擎的 Triton 模型仓库。
使用提供的标志（批大小、精度、KV 缓存复用、推测解码）调整性能，并查阅适用于您硬件的性能指南。

总结 TensorRT‑LLM 是一个面向生产的工具包，可让开发人员为 LLM 和相关生成模型从现代 NVIDIA GPU 中榨取最大推理性能，将研究级模型转化为具有成本效益的服务。