zhiqwang/yolort

yolort is a runtime stack for yolov5 on specialized accelerators such as tensorrt, libtorch, onnxruntime, tvm and ncnn.

What it solves

yolort 是一个旨在简化 YOLOv5 目标检测模型的部署运行时堆栈。它解决了整合训练和推理的复杂性， specifically 减少了在专用加速器部署阶段对复杂外部库的依赖。

How it works

该项目实现实现实现了 YOLOv5 模型结构，但引入了动态形状机制。这允许项目将预处理（letterbox）和后处理（Non-Maximum Suppression 或 NMS）直接嵌入到模型图中。通过这种方式，模型成为一个自包含的单元，使其在各种后端上导出和运行更加容易。

Who it’s for

想要使用 LibTorch, ONNX Runtime, TVM, 或 TensorRT 等后端将 YOLOv5 模型部署到生产环境的开发者和 AI 工程师，以及那些偏好更简单、类似 torchvision 的目标检测实现方式的人。

Highlights

  • Integrated Pipeline: 将预处理和后处理嵌入到模型图中以简化部署。

  • Multi-Backend Support: 提供对 LibTorch, ONNX Runtime, TVM, 和 TensorRT 导出和推理的原生支持和示例。

  • Dynamic Shape Support: 支持动态形状和批次推理。

  • Compatibility: 能够加载使用官方 Ultralytics YOLOv5 实现训练的权重文件。

  • Visualization: 包含用于可视化模型图的工具。