NVIDIA/TensorRT-Edge-LLM

TensorRT Edge‑LLM – 面向 NVIDIA 边缘设备的高性能 LLM 推理

是什么 – 由 NVIDIA 开发的 C++/Python 运行时，用于在 Jetson、DRIVE 和 DGX Spark 等边缘平台运行大语言模型（LLM）和多模态模型（视觉、音频、语音、动作）。该框架接收 Hugging Face 检查点，将其转换为 ONNX（或直接从检查点构建），并编译为针对目标 GPU 优化的 TensorRT 引擎。

核心功能

• 边缘优先推理 – 针对 Jetson 类设备和汽车级硬件设计，实现低延迟、低内存运行。
• 模型支持 – 提供多种前沿模型（Gemma 4、Qwen 3、Nemotron‑3.5、Cosmos3‑Edge、DiffusionGemma 等）的即用型检查点，支持可选量化和多轮 KV 缓存复用。
• 性能优化技巧 – 支持在飞行中批处理、推测解码（DSpark、DFlash、DDTree）、多设备（TP=2）推理，以及跳过 ONNX 导出步骤的直接引擎构建器。
• 高级 Python API – 提供 vLLM 风格 API 和 OpenAI 兼容 HTTP 服务器（tensorrt‑edgellm[server]），便于集成。
• 可扩展性 – 支持自定义 TensorRT 操作、聊天模板配置，并提供开发者指南以自定义运行时。

典型工作流

1. 从 支持的模型 列表中选择一个支持的模型。
2. 将检查点导出为 ONNX（或使用实验性直接构建器）。
3. 使用提供的 C++ 工具或 Python 辅助函数构建 TensorRT 引擎。
4. 安装预构建的 Python 轮子（pip install tensorrt‑edgellm==0.11.0）。
5. 通过 Python API 运行推理，或启动 OpenAI 兼容服务器以处理 REST 调用。

安装（快速）

# 需要在目标设备上安装兼容的 CUDA/TensorRT 堆栈
pip install tensorrt-edgellm==0.11.0   # 基础包
# 可选服务器支持
pip install "tensorrt-edgellm[server]"

完整信息请参阅 快速入门指南 和 支持矩阵。

性能 – 文档中链接的基准测试显示，在 Jetson AGX Thor 上，MLPerf Edge Agentic 得分相比之前解决方案最高提升 6.4 倍，即使对于 30-B 类模型也保持高预填充和生成吞吐量。

应用场景亮点

• 汽车 – 车载助手、语音控制 UI、驾驶员辅助感知。
• 机器人 – 自然语言命令处理、视觉问答、任务规划。
• 工业物联网 – 设备端 NLP 用于监控、预测性维护、语音控制机械。
• 消费级边缘 – 离线聊天机器人、隐私保护语言处理、手持设备上的低延迟推理。

文档与社区 – 完整文档请访问 https://nvidia.github.io/TensorRT-Edge-LLM/，支持可通过问题追踪、GitHub Discussions 和 NVIDIA 开发者论坛获取。

许可证 – Apache 2.0。

---

以上所有信息均直接取自仓库的 README 和链接文档。