zhiqwang/yolort

yolort is a runtime stack for yolov5 on specialized accelerators such as tensorrt, libtorch, onnxruntime, tvm and ncnn.

What it solves

yolort は、YOLOv5 物体検出モデルのデプロイを簡法化するために設計されたランタイムスタックです。学習と推論を統合する複雑さを解決します。特に、専用アクセラレータ上でのデプロイ段階における複雑な外部ライブラリの必要性を減らすことができます。

How it works

このプロジェクトは YOLOv5 のモデル構造を実装していますが、動的な形状メカニズムを導入しています。これにより、前処理（letterbox）と後処理（NMS: Non-Maximum Suppression）をモデルグラフに直接埋め込むことが可能になります。そうすることで、モデルは自己完結型ユニットとなり、さまざまなバックエンドでエクスポートおよび実行が容易になります。

Who it’s for

LibTorch, ONNX Runtime, TVM, または TensorRT などのバックエンドを使用して YOLOv5 モデルを本番環境にデプロイしたい開発者や AI エンジニア、および、よりシンプルで torchvision-like な物体検出の実装を好む人々。

Highlights

  • Integrated Pipeline: 前処理と後処理をモデルグラフに埋め込むことで、デプロイを簡法化します。

  • Multi-Backend Support: LibTorch, ONNX Runtime, TVM, および TensorRT へのエクスポートと推論のためのネイティブサポートと例を提供します。

  • Dynamic Shape Support: 動的な形状とバッチ推論をサポートします。

  • Compatibility: 公式の Ultralytics YOLOv5 実装で学習されたチェックポイントをロードできます。

  • Visualization: モデルグラフを可視化するためのツールが含まれています。