zhiqwang/yolort

yolort is a runtime stack for yolov5 on specialized accelerators such as tensorrt, libtorch, onnxruntime, tvm and ncnn.

What it solves

yolort는 YOLOv5 객체 탐지 모델의 배포를 단순화하기 위해 설계된 런타임 스택입니다. 특히 전문화된 가속기에서 배포 단계 중 복잡한 외부 라이브러리의 필요성을 줄임으로써 학습과 추론의 통합 복잡성을 해결합니다.

How it works

이 프로젝트는 YOLOv5 모델 구조를 구현하지만 동적 형상(dynamic shape) 메커니즘을 도입합니다. 이를 통해 전처리(letterbox)와 후처리(Non-Maximum Suppression 또는 NMS)를 모델 그래프에 직접 내장할 수 있습니다. 이렇게 함으로써 모델은 자가 포함된(self-contained) 단위가 되어 다양한 백엔드에서 내보내기 및 실행이 더 쉬워집니다.

Who it’s for

LibTorch, ONNX Runtime, TVM, 또는 TensorRT와 같은 백엔드를 사용하여 YOLOv5 모델을 프로덕션 환경에 배포하려는 개발자 및 AI 엔지니어, 그리고 torchvision과 유사한 더 단순한 객체 탐지 구현을 선호하는 사람들을 위한 것입니다.

Highlights

  • Integrated Pipeline: 전처리 및 후처리를 모델 그래프에 내장하여 배포를 단순화합니다.
  • Multi-Backend Support: 다양한 백엔드(LibTorch, ONNX Runtime, TVM, TensorRT)로의 내보내기 및 추론를 위한 네이티브 지원 및 예제를 제공합니다.
  • Dynamic Shape Support: 동적 형상 및 배치 추론을 지원합니다.
  • Compatibility: 공식 Ultralytics YOLOv5 구현으로 학습된 체크포인트를 로드할 수 있습니다.
  • Visualization: 모델 그래프를 시각화하기 위한 도구를 포함합니다.