lyuwenyu/RT-DETR
[CVPR 2024] Official RT-DETR (RTDETR paddle pytorch), Real-Time DEtection TRansformer, DETRs Beat YOLOs on Real-time Object Detection. 🔥 🔥 🔥
解决的问题
RT-DETR 旨在克服传统实时对象检测模型的局限性，旨在速度和准确率方面均超越 YOLO 风格的检测器。它为在复杂场景和困难环境条件下实时识别和定位图像中的对象提供了一种高性能替代方案。
工作原理
该项目实现了实时检测 Transformer（DETR）架构。提供从 R18 到 X 的多种模型尺寸，并支持 PyTorch 和 PaddlePaddle 框架。系统在 COCO 和 Objects365 等标准基准上优化了高吞吐量（FPS）和高平均精度（mAP）。同时支持通过 ONNX Runtime、TensorRT 和 OpenVINO 进行部署。
适用人群
需要在高精度与低延迟之间取得平衡的计算机视觉工程师和研究人员，特别适用于在边缘设备或高性能 GPU 上部署。
主要亮点
- 高效率：在 T4 TensorRT FP16 上实现高帧率（FPS），最小模型（R18）达到 217 FPS。
- 多种实现：官方支持 PyTorch 和 PaddlePaddle。
- 广泛部署支持：兼容 ONNX Runtime、TensorRT 和 OpenVINO。
- 迭代改进：包含 RT-DETRv2，引入“免费工具包”（bag-of-freebies）以进一步提升基线性能。
- 可扩展性：提供多种模型尺寸，以适应不同的硬件约束。
相关
- 项目
Peterande/D-FINED‑FINE 是一个实时目标检测框架，将 DETR 的框回归重新定义为细粒度分布精炼，并引入自蒸馏模块。它提供多种模型尺寸（‑N 至 ‑X），在 T4 GPU 上以 70–470 FPS 运行，同时达到最先进的 COCO/AP 分数（42.8 %–55.8 %），且无额外推理开销。仓库提供 COCO、Objects365 和自定义 COCO 格式数据集的预训练检查点、配置文件和完整的训练/评估脚本。
- 项目
ultralytics/yolov3Ultralytics YOLOv3 是 YOLOv3 目标检测模型的 PyTorch 实现，提供三种变体（完整版、SPP、轻量版），并附带训练、推理、验证和多种部署格式导出的脚本。支持自动下载 COCO 预训练权重，兼容 PyTorch Hub 加载，并与主流 ML-ops 工具和云笔记本集成。采用 AGPL‑3.0 开源许可，同时提供商业企业版选项。
- 项目
- 项目
roboflow/rf-detrRF‑DETR 是一个开源的、基于 transformer 的库，用于实时目标检测、实例分割和关键点检测。它基于 DINOv2 主干网络，提供从极小的“Atto”到大型的“2XL”一系列模型，在 NVIDIA T4 上运行延迟为 1–17 ms 的同时，实现了业界领先的 COCO 准确率。通过 `pip install rfdetr` 安装，使用单一 Python API 即可完成所有三项任务，并可选在 Roboflow 平台上运行 NAS，以针对您的数据集定制模型。
- 项目
ultralytics/yolov5YOLOv5 是由 Ultralytics 开发、基于 PyTorch 的开源目标检测/分割/分类模型套件，提供多种模型大小、简单的 Python/CLI 推理，以及单行指令训练和多种部署格式导出。