lyuwenyu/RT-DETR
[CVPR 2024] Official RT-DETR (RTDETR paddle pytorch), Real-Time DEtection TRansformer, DETRs Beat YOLOs on Real-time Object Detection. 🔥 🔥 🔥
何を解決するか
RT-DETRは、従来のリアルタイムオブジェクト検出モデルの限界を克服することを目的としており、速度と精度の両面でYOLOスタイルの検出器を上回ることを目指しています。複雑なシナリオや困難な環境条件下でも、画像内のオブジェクトをリアルタイムで識別・位置特定する高パフォーマンスな代替手段を提供します。
動作方法
本プロジェクトはリアルタイム検出Transformer（DETR）アーキテクチャを実装しています。R18からXまでの複数のモデルサイズを提供し、PyTorchおよびPaddlePaddleの両方をサポートしています。COCOやObjects365などの標準ベンチマークで、高スループット（FPS）と高平均精度（mAP）を実現するよう最適化されています。また、ONNX Runtime、TensorRT、OpenVINOを介したデプロイもサポートしています。
対象ユーザー
高精度と低レイテンシの両立を必要とするコンピュータビジョンエンジニアおよび研究者向けです。特にエッジデバイスや高性能GPUへのデプロイに適しています。
主な特徴
- 高効率性: T4 TensorRT FP16で高フレームレート（FPS）を達成。最小モデル（R18）で217 FPSを実現。
- 複数の実装: PyTorchおよびPaddlePaddleの公式サポート。
- 広範なデプロイ対応: ONNX Runtime、TensorRT、OpenVINOと互換性あり。
- 段階的な改善: ベースライン性能をさらに向上させる「無料のツールボックス（bag-of-freebies）」を導入したRT-DETRv2を含む。
- スケーラブル: 異なるハードウェア制約に合わせた複数のモデルサイズを提供。
関連
- プロジェクト
Peterande/D-FINED‑FINEは、DETRのボックス回帰を細分化された分布修正として再定義し、自己蒸留モジュールを追加したリアルタイムオブジェクト検出フレームワークです。複数のモデルサイズ（‑N から ‑X）を提供し、T4 GPU上で70〜470 FPSで動作しながら、COCO/APスコアで最先端（42.8 %〜55.8 %）を達成。推論コストは追加なし。リポジトリにはCOCO、Objects365、およびカスタムCOCO形式データセット用の事前学習済みチェックポイント、設定ファイル、完全なトレーニング/評価スクリプトが含まれます。
- プロジェクト
ultralytics/yolov3Ultralytics YOLOv3 は、YOLOv3 オブジェクト検出モデルの PyTorch 実装で、3つのバリアント（フル、SPP、タイニー）を提供し、学習、推論、検証、多数のデプロイフォーマットへのエクスポート用スクリプトを備えています。自動的に COCO 事前学習済み重みをダウンロードでき、PyTorch Hub からの読み込みもサポート。人気のある ML-ops ツールやクラウドノートブックとも連携可能。AGPL‑3.0 ライセンスで、商用エンタープライズオプションも提供。
- プロジェクト
- プロジェクト
roboflow/rf-detrRF‑DETRは、リアルタイムオブジェクト検出、インスタンスセグメンテーション、キーポイント検出向けのオープンソースでTransformerベースのライブラリです。DINOv2バックボーンに基づき、小さな「Atto」から大きな「2XL」までさまざまなサイズのモデル群を提供し、NVIDIA T4上で1–17 msで実行されながら、COCOベンチマークで最先端の精度を達成しています。`pip install rfdetr`でインストールでき、3つのタスクすべてに同じPython APIを使用可能。また、Roboflowプラットフォーム上でNASを実行し、独自のデータセットに最適化されたモデルをカスタマイズすることもできます。
- プロジェクト
ultralytics/yolov5YOLOv5は、Ultralyticsが提供するPyTorchベースのオープンソースの物体検出/セグメンテーション/分類モデルスイートです。複数のモデルサイズ、簡単なPython/CLI推論、1行のコマンドでのトレーニング、および多くの展開展開用フォーマットへのエクスポートが可能です。