lyuwenyu/RT-DETR

🎯 RT‑DETR란 무엇인가요?

RT‑DETR(Real‑Time Detection Transformer)는 DETR(Detection Transformer) 아키텍처를 기반으로 하되, 실시간 속도에 초점을 맞춘 객체 탐지 모델의 오픈소스 구현입니다. 저자들은 적절한 설계 선택을 통해 DETR 스타일 탐지기가 현대 GPU에서 수백 프레임/초로 작동하면서도, 기존 YOLO 유형 모델을 능가하는 성능을 달성할 수 있음을 보여줍니다.

---

🚀 주요 특징

기능	세부 사항
두 가지 코드베이스	원본 RT‑DETR와 최신 RT‑DETRv2에 대한 PyTorch 및 PaddlePaddle 구현 제공.
모델 자료관	COCO 및 Objects365에서 사전 학습된 여러 백본 크기(R18, R34, R50‑m, R50, R101, HGNetv2‑L/X) 제공.
속도 / 정확도	예: RT‑DETR‑R18는 NVIDIA T4에서 TensorRT FP16로 COCO에서 46.5 AP(63.8 AP@50)를 달성하며 217 FPS로 작동. 더 큰 모델은 약간의 속도 희생을 통해 더 높은 AP(최대 56.2 AP)를 제공.
실시간 최적화 기법	더 나은 데이터 증강, 소형 객체를 위한 슬라이스 추론, ONNX/TensorRT/OpenVINO 배포 지원 등 "무료 기술" 제공.
확장성	Torch‑hub 엔트리, Hugging‑Face Transformers 통합, 파라미터/FLOP 분석용 프로파일링 스크립트(run_profile.py) 포함.
시각 기초 모델(VFM) 활용	최신 RT‑DETRv4(리포지토리에서 링크)는 추가 추론 지연 없이 VFM을 활용해 성능 향상.
라이선스	Apache 2.0(README의 배지 참조).

---

📦 시작하기 (PyTorch 예제)

# 리포지토리 클론
git clone https://github.com/lyuwenyu/RT-DETR.git && cd RT-DETR

# 종속성 설치 (예시)
pip install -r requirements.txt

# 사전 학습된 체크포인트 다운로드 (예: RT‑DETR‑R18)
wget https://path/to/rt_detr_r18.pth -O rtdetr_pytorch/weights/r18.pth

# 이미지에 대해 추론 실행
python rtdetr_pytorch/tools/infer.py \
    --config rtdetr_pytorch/configs/rt_detr_r18.py \
    --weights rtdetr_pytorch/weights/r18.pth \
    --image path/to/image.jpg

리포지토리에는 다음 기능도 포함되어 있습니다:

• run_profile.py – 모델 파라미터 및 FLOPs에 대한 빠른 통계 정보.
• hubconf.py – torch.hub.load('lyuwenyu/RT-DETR', 'rt_detr_r18')로 모델 로드 가능.
• ONNX, TensorRT, OpenVINO용 배포 스크립트.

---

📊 성능 요약

모델	입력	데이터셋	AP (검증)	AP@50 (검증)	파라미터 (M)	FLOPs (G)	TensorRT FP16 FPS (T4)
RT‑DETR‑R18	640×640	COCO	46.5	63.8	20	60	217
RT‑DETR‑R34	640×640	COCO	48.9	66.8	31	92	161
RT‑DETR‑R50‑m	640×640	COCO	51.3	69.6	36	100	145
RT‑DETR‑R101	640×640	COCO	54.3	72.7	76	259	74
RT‑DETRv2‑S	640×640	COCO	48.1 (+1.6)	65.1	20	60	217
RT‑DETRv2‑L	640×640	COCO	53.4 (+0.3)	71.6	42	136	108

COCO + Objects365에서 미세 조정된 모델은 동일한 속도로 최대 56.2의 AP를 달성.

---

🛠️ 활용 분야

• 실시간 엣지 애플리케이션 (로봇, AR/VR, 영상 분석 등): AP의 미세한 향상보다 지연 시간이 더 중요할 때.
• Transformer 기반 탐지 연구: 견고한 베이스라인과 비교용 "무료 기술" 제공.
• 배포 파이프라인: 미리 준비된 ONNX/TensorRT/OpenVINO 내보내기 스크립트 및 Torch‑Hub 지원으로 즉시 활용 가능.

---

📚 인용

RT‑DETR 또는 RT‑DETRv2를 논문에 사용할 경우, README에 제공된 arXiv 논문을 인용해 주세요.

---

TL;DR: RT‑DETR는 여러 백본, 사전 학습된 가중치, 배포 도구를 갖춘 잘 유지 관리되는 고속 객체 탐지 Transformer 라이브러리로, GPU나 엣지 장치에서 빠르고 정확한 탐지가 필요한 사용자에게 실용적인 선택입니다.