roboflow/rf-detr

RF-DETR is a real-time object detection and segmentation model architecture developed by Roboflow, SOTA on COCO, designed for fine-tuning. [ICLR 2026]

什么是 RF‑DETR？

RF‑DETR（リアルタイム DETR）は、Roboflow が開発したオープンソースのコンピュータビジョンモデルファミリーです。トランスフォーマー基盤（DINOv2ビジョントランスフォーマー）を使用して、オブジェクト検出、インスタンスセグメンテーション、および現在プレビュー中のキーポイント検出を実行します。従来の DETR スタイルモデルに対する リアルタイム 代替として位置づけられており、Microsoft COCO および Roboflow 専用の RF100‑VL データセットなどの標準ベンチマークで、優れた精度とレイテンシのトレードオフを実現しています。

主な特徴（README に記載）

特徴	詳細
統合 API	1 つの Python パッケージ（`rfdetr`）で、検出、セグメンテーション、キーポイントモデルを、単一のクラス名（例：`RFDETRMedium`）でロードできます。
複数のサイズ	6 種類のモデルファミリーが提供されています：Nano、Small、Medium、Large（Apache‑2.0 ライセンス）および XL / 2XL（`rfdetr_plus` 拡張機能で PML 1.0 ライセンス下で利用可能）。
バックボーン	すべてのモデルは、視覚特徴用の最先端で固定されたエンコーダである DINOv2 ビジョントランスフォーマーを共有しています。
リアルタイム性能	レイテンシは NVIDIA T4（TensorRT、FP16、バッチサイズ 1）で測定されています。最小モデルは 1 イメージあたり約 2 ms、最大モデルでも 20 ms 未満で、エッジや低レイテンシデプロイメントに適しています。
ベンチマーク	README には、YOLO 11/26、LW‑DETR、D‑FINE、SAM 3 などと比較した、COCO AP‑50、AP‑50:95、RF100‑VL スコア、レイテンシ、パラメータ数、解像度に関する包括的なテーブルが含まれています。RF‑DETR は、同等のレイテンシで提示された競合他社を一貫して上回っています。
NAS サポート	アーキテクチャはニューラルアーキテクチャサーチ（NAS）で発見されました。同じ NAS パイプラインは Roboflow プラットフォーム上で公開されており、ユーザーが独自のデータセット向けにカスタムチューニングされたモデルを探索できます。
インストール	`pip install rfdetr`（Python ≥ 3.10）。開発ビルドは GitHub の直接 URL からインストール可能です。"plus" モデルには `pip install rfdetr[plus]` が必要です。
デモ & ドキュメント	Hugging Face Space、Colab ノートブック、ブログ記事、Discord コミュニティへのリンクが提供され、すぐに実践的に試すことができます。
ライセンス	コアモデルは Apache 2.0；より大きな XL/2XL モデルは Roboflow 専用の PML 1.0 ライセンスの下で提供されます。

使い方（README からの簡単な例）

import supervision as sv
from rfdetr import RFDETRMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()
# 画像 URL で予測
preds = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

# 人間が読みやすいラベル（COCO 事前学習済み）
labels = [COCO_CLASSES[i] for i in preds.class_id]

# 可視化
img = preds.metadata["source_image"]
img = sv.BoxAnnotator().annotate(img, preds)
img = sv.LabelAnnotator().annotate(img, preds, labels)

同じパターンはセグメンテーション（RFDETRSegMedium）およびキーポイントモデル（プレビュー）にも適用可能です。inference.get_model("rfdetr-medium") という代替の推論ライブラリインターフェースも紹介されています。

どんな人にとって有用か？

開発者：中程度の GPU でもリアルタイムで動作する、即時利用可能なトランスフォーマー基盤の検出器/セグメンテーション器が必要な人。
研究者：COCO スタイルの指標で、トランスフォーマー DETR スタイルモデルと YOLO ファミリーを比較したい人。
Roboflow プラットフォーム利用者：独自のデータセット向けにアーキテクチャを自動チューニングするための組み込み NAS を活用したい人。

さらに詳しく知りたい方へ

論文：arXiv 2511.09554（バッジにリンク済み）。
GitHub：今読んでいるリポジトリ（rfdetr パッケージ、モデルチェックポイント、ベンチマークスクリプトを含む）。
Hugging Face Space および Colab ノートブック：インタラクティブなデモ用。
Roboflow ブログ記事 および Discord：コミュニティサポート用。

上記のすべての記述は、リポジトリの README から直接引用したものであり、追加の機能は推測されていません。