lyuwenyu/RT-DETR

🎯 什麼是 RT‑DETR？

RT‑DETR（即時檢測 Transformer）是一套開源的物件檢測模型家族實作，結合了 DETR（Detection Transformer）架構並專注於 即時速度。作者指出，透過正確的設計選擇，DETR 風格的檢測器能在現代 GPU 上以每秒數百幀的速度運作，同時性能超越傳統的 YOLO 類模型。

---

🚀 主要亮點

特性	詳細
兩個程式碼庫	原始 RT‑DETR 與新版本 RT‑DETRv2 在 PyTorch 與 PaddlePaddle 中均有實作。
模型圖書館	提供多種主幹尺寸（R18, R34, R50‑m, R50, R101, HGNetv2‑L/X），並在 COCO 與 Objects365 上提供預訓練權重。
速度 / 准確率	範例：RT‑DETR‑R18 在 COCO 上達成 46.5 AP（63.8 AP@50），於 NVIDIA T4 上使用 TensorRT FP16 實現 217 FPS。較大模型雖略降速度，但 AP 提升至最高 56.2 AP。
即時優化技巧	「免費技巧」如更佳的資料增強、小物件的切片推論，以及支援 ONNX/TensorRT/OpenVINO 部署。
可擴展性	支援 Torch‑hub 入口、Hugging‑Face Transformers 整合，以及用於參數/FLOP 分析的性能分析腳本（run_profile.py）。
視覺基礎模型（VFM）增強	最新 RT‑DETRv4（連結自倉儲）利用 VFM 提升效能，且不增加額外推論延遲。
授權	Apache 2.0（見 README 中的徽章）。

---

📦 快速上手（PyTorch 範例）

# 克隆倉儲
git clone https://github.com/lyuwenyu/RT-DETR.git && cd RT-DETR

# 安裝相依套件（範例）
pip install -r requirements.txt

# 下載預訓練檢查點（例如：RT‑DETR‑R18）
wget https://path/to/rt_detr_r18.pth -O rtdetr_pytorch/weights/r18.pth

# 對影像執行推論
python rtdetr_pytorch/tools/infer.py \
    --config rtdetr_pytorch/configs/rt_detr_r18.py \
    --weights rtdetr_pytorch/weights/r18.pth \
    --image path/to/image.jpg

倉儲亦提供：

• run_profile.py – 快速取得模型參數與 FLOPs 統計。
• hubconf.py – 使用 torch.hub.load('lyuwenyu/RT-DETR', 'rt_detr_r18') 加載模型。
• ONNX、TensorRT 與 OpenVINO 的部署腳本。

---

📊 性能快照

模型	輸入	資料集	AP（驗證）	AP@50（驗證）	參數量（M）	FLOPs（G）	TensorRT FP16 FPS（T4）
RT‑DETR‑R18	640×640	COCO	46.5	63.8	20	60	217
RT‑DETR‑R34	640×640	COCO	48.9	66.8	31	92	161
RT‑DETR‑R50‑m	640×640	COCO	51.3	69.6	36	100	145
RT‑DETR‑R101	640×640	COCO	54.3	72.7	76	259	74
RT‑DETRv2‑S	640×640	COCO	48.1 (+1.6)	65.1	20	60	217
RT‑DETRv2‑L	640×640	COCO	53.4 (+0.3)	71.6	42	136	108

在 COCO + Objects365 上微調的模型可達更高 AP（最高 56.2），且速度不變。

---

🛠️ 適用場景

• 即時邊緣應用（如機器人、AR/VR、影片分析），其中延遲比微小的 AP 提升更為重要。
• 基於 Transformer 的檢測研究，提供穩固的基線與一組「免費技巧」以供比較。
• 部署流程，因提供即用的 ONNX/TensorRT/OpenVINO 導出腳本與 Torch‑Hub 支援。

---

📚 引用

若在出版物中使用 RT‑DETR 或 RT‑DETRv2，請引用 README 中提供的對應 arXiv 論文。

---

TL;DR: RT‑DETR 是一個維護良好、高速的物件檢測 Transformer 庫，支援多種主幹、預訓練權重與部署工具，是任何需要在 GPU 或邊緣裝置上實現快速、準確檢測的使用者的實用選擇。