lyuwenyu/RT-DETR

[CVPR 2024] Official RT-DETR (RTDETR paddle pytorch), Real-Time DEtection TRansformer, DETRs Beat YOLOs on Real-time Object Detection. 🔥 🔥 🔥

해결하는 문제

RT-DETR는 전통적인 실시간 객체 탐지 모델의 한계를 극복하기 위해 설계되었으며, 속도와 정확도 측면에서 YOLO 스타일 탐지기보다 뛰어난 성능을 목표로 합니다. 특히 복잡한 시나리오와 어려운 환경 조건에서 이미지 내 객체를 실시간으로 식별하고 위치를 파악할 수 있는 고성능 대안을 제공합니다.

작동 방식

이 프로젝트는 실시간 탐지 트랜스포머(RT-DETR) 아키텍처를 구현합니다. R18부터 X까지 다양한 모델 크기를 제공하며, PyTorch와 PaddlePaddle 프레임워크를 모두 지원합니다. COCO 및 Objects365와 같은 표준 벤치마크에서 높은 처리량(FPS)과 높은 평균 정밀도(mAP)를 달성하도록 최적화되어 있으며, ONNX Runtime, TensorRT, OpenVINO를 통한 배포도 지원합니다.

대상 사용자

정확도와 지연 시간 사이의 균형을 필요로 하는 컴퓨터 비전 엔지니어 및 연구자에게 적합합니다. 특히 엣지 디바이스나 고성능 GPU에 배포할 경우에 유용합니다.

주요 특징

  • 고효율성: T4 TensorRT FP16에서 높은 프레임당 초(FPS)를 달성하며, 가장 작은 모델(R18)은 217 FPS에 도달합니다.
  • 다양한 구현: PyTorch와 PaddlePaddle 모두 공식 지원.
  • 광범위한 배포 지원: ONNX Runtime, TensorRT, OpenVINO와 호환.
  • 반복적 개선: 기준 성능을 더욱 향상시키는 '무료 도구들(bag-of-freebies)'을 도입한 RT-DETRv2 포함.
  • 확장성: 다양한 하드웨어 제약에 맞는 다양한 모델 크기 제공.

관련

  • 프로젝트
    Peterande/D-FINE

    D‑FINE는 DETR의 박스 회귀를 세밀한 분포 개선으로 재정의하고 자기 증류 모듈을 추가한 실시간 객체 탐지 프레임워크입니다. 다양한 모델 크기(‑N에서 ‑X까지)를 제공하며, T4 GPU에서 70~470 FPS로 작동하면서 COCO/AP 점수에서 최신 기준(42.8 %~55.8 %)을 달성하며, 추론 비용은 추가되지 않습니다. 리포지토리는 COCO, Objects365 및 사용자 정의 COCO 형식 데이터셋용 사전 학습된 체크포인트, 설정 파일, 완전한 학습/평가 스크립트를 제공합니다.

  • 프로젝트
    ultralytics/yolov3

    Ultralytics YOLOv3 는 YOLOv3 객체 탐지 모델의 PyTorch 구현으로, 세 가지 변형(풀, SPP, 타이니)을 제공하며, 학습, 추론, 검증, 다양한 배포 형식으로 내보내기 위한 스크립트를 포함합니다. 자동으로 COCO 사전 학습된 가중치를 다운로드하고, PyTorch Hub 로딩을 지원하며, 인기 있는 ML-ops 도구 및 클라우드 노트북과 통합됩니다. AGPL‑3.0 라이선스로 오픈소스 사용에 적합하며, 상업용 엔터프라이즈 옵션도 제공됩니다.

  • 프로젝트
    z1069614715/objectdetection_script

    수정된 YOLO 및 RT-DETR 아키텍처, 모델 가지치기(pruning) 및 증류(distillation) 스크립트, 연구 및 배포를 위한 데이터셋 처리 도구를 제공하는 포괄적인 객체 탐지 툴킷입니다.

  • 프로젝트
    roboflow/rf-detr

    RF‑DETR는 오픈소스이며 트랜스포머 기반의 실시간 객체 탐지, 인스턴스 세그멘테이션, 키포인트 탐지 라이브러리입니다. DINOv2 백본 위에 구축되어 있으며, "Atto"에서 "2XL"까지 다양한 크기의 모델을 제공하여 NVIDIA T4에서 1–17 ms 내에 실행되며 COCO 벤치마크에서 최첨단 정확도를 달성합니다. `pip install rfdetr`로 설치 가능하며, 세 가지 작업 모두에 하나의 Python API를 사용할 수 있으며, Roboflow 플랫폼에서 NAS를 실행하여 자신의 데이터셋에 맞는 모델을 맞춤화할 수도 있습니다.

  • 프로젝트
    ultralytics/yolov5

    YOLOv5는 Ultralytics에서 제공하는 PyTorch 기반의 오픈 소스 객체 탐지/세그멘테이션/분류 모델 제품군으로, 다양한 모델 크기, 간단한 Python/CLI 추론, 한 줄 명령어로 실행되는 학습, 그리고 다양한 배포포맷으로의 내보내기가 가능합니다.