lyuwenyu/RT-DETR

🎯 RT‑DETR とは何ですか？

RT‑DETR（Real‑Time Detection Transformer）は、DETR（Detection Transformer）アーキテクチャとリアルタイム速度に焦点を当てたオブジェクト検出モデルのオープンソース実装です。著者らは、適切な設計選択により、DETRスタイルの検出器が、現代のGPU上で数百フレーム/秒で動作しながらも、従来のYOLO型モデルを上回る性能を達成できることを示しています。

---

🚀 主な特徴

機能	詳細
2つのコードベース	原始のRT‑DETRおよび新しいRT‑DETRv2の両方に対応するPyTorchおよびPaddlePaddle実装。
モデルズー	COCOおよびObjects365で事前学習済みの複数のバックボーンサイズ（R18, R34, R50‑m, R50, R101, HGNetv2‑L/X）を提供。
速度 / 精度	例：RT‑DETR‑R18は、NVIDIA T4でTensorRT FP16を使用して、COCOで46.5 AP（63.8 AP@50）を達成し、217 FPSで動作。より大きなモデルはわずかに速度を犠牲にしてAPを向上（最大56.2 AP）。
リアルタイム最適化	より良いデータ拡張、小物体向けスライス推論、ONNX/TensorRT/OpenVINOへのデプロイサポートなど「無料の裏技」。
拡張性	Torch‑hubエントリ、Hugging‑Face Transformers統合、パラメータ/FLOP分析用のプロファイリングスクリプト（run_profile.py）を備える。
ビジョン基礎モデル（VFM）の活用	最新のRT‑DETRv4（リポジトリからリンク）は、追加の推論遅延なしにVFMを活用して性能を向上。
ライセンス	Apache 2.0（READMEのバッジを参照）。

---

📦 インストール手順（PyTorch例）

# リポジトリをクローン
git clone https://github.com/lyuwenyu/RT-DETR.git && cd RT-DETR

# 依存関係をインストール（例）
pip install -r requirements.txt

# 事前学習済みチェックポイントをダウンロード（例：RT‑DETR‑R18）
wget https://path/to/rt_detr_r18.pth -O rtdetr_pytorch/weights/r18.pth

# 画像に対して推論を実行
python rtdetr_pytorch/tools/infer.py \
    --config rtdetr_pytorch/configs/rt_detr_r18.py \
    --weights rtdetr_pytorch/weights/r18.pth \
    --image path/to/image.jpg

リポジトリには以下の機能も含まれます：

• run_profile.py – モデルのパラメータ数とFLOPsの簡単な統計情報。
• hubconf.py – torch.hub.load('lyuwenyu/RT-DETR', 'rt_detr_r18') でモデルをロード可能。
• ONNX、TensorRT、OpenVINO用のデプロイスクリプト。

---

📊 パフォーマンス概要

モデル	入力	データセット	AP（検証）	AP@50（検証）	パラメータ（M）	FLOPs（G）	TensorRT FP16 FPS（T4）
RT‑DETR‑R18	640×640	COCO	46.5	63.8	20	60	217
RT‑DETR‑R34	640×640	COCO	48.9	66.8	31	92	161
RT‑DETR‑R50‑m	640×640	COCO	51.3	69.6	36	100	145
RT‑DETR‑R101	640×640	COCO	54.3	72.7	76	259	74
RT‑DETRv2‑S	640×640	COCO	48.1 (+1.6)	65.1	20	60	217
RT‑DETRv2‑L	640×640	COCO	53.4 (+0.3)	71.6	42	136	108

COCO + Objects365で微調整したモデルは、同じ速度で最大56.2のAPを達成。

---

🛠️ 用途

• リアルタイムエッジアプリケーション（ロボット、AR/VR、動画分析など）：レイテンシがAPのわずかな向上よりも重要。
• Transformerベース検出に関する研究：堅実なベースラインと比較用の「無料の裏技」を提供。
• デプロイパイプライン：ONNX/TensorRT/OpenVINOのエクスポートスクリプトとTorch‑Hubサポートにより、即時利用可能。

---

📚 引用

RT‑DETRまたはRT‑DETRv2を出版物で使用する場合、READMEに記載されたarXiv論文を引用してください。

---

TL;DR: RT‑DETRは、複数のバックボーン、事前学習済み重み、デプロイツールを備えた、メンテナンスが行き届いた高速オブジェクト検出Transformerライブラリです。GPUやエッジデバイスで高速かつ正確な検出が必要なユーザーにとって実用的な選択肢です。