roboflow/rf-detr

RF-DETR is a real-time object detection and segmentation model architecture developed by Roboflow, SOTA on COCO, designed for fine-tuning. [ICLR 2026]

RF‑DETR とは何か？

RF‑DETR（Real‑Time DEtection TRansformer）は、以下の3つの主要なタスクに向けたTransformerベースのモデルのグループを提供するオープンソースのコンピュータビジョンライブラリです。

オブジェクト検出 – 画像内のオブジェクトを位置特定しラベル付けします。
インスタンスセグメンテーション – 検出された各オブジェクトに対してピクセル単位のマスクを生成します。
キーポイント検出 – ボディポーズスタイルのポイントを予測します（現在はプレビュー機能）。

これらのすべての機能は、一貫したPython APIを通じて利用可能です。モデルはDINOv2ビジョンTransformerバックボーン（「PE‑Core‑T」ファミリー）に基づき、ニューラルアーキテクチャサーチ（NAS）で最適化されており、リアルタイム用途に適した優れた精度とレイテンシのトレードオフを実現しています。

なぜ重要なのか

最先端のパフォーマンス – 標準的なCOOベンチマークにおいて、最大のRF‑DETR‑Lモデルは75.1 % AP₅₀および56.5 % AP（IoU閾値全体での平均精度）を達成し、最小の「Atto」バージョンはNVIDIA T4上で~1 msで実行されます。これはYOLOスタイルの検出器と同等の速度クラスですが、より高い精度を実現しています。
統合API – 1つのモデルクラスで検出、セグメンテーション、または（プレビュー）ポーズ推定が可能で、複数のビジョンタスクを必要とするコードベースを簡素化します。
スケーラブルなモデルズー – モデルサイズはNano（30 Mパラメータ）から2XL（約127 Mパラメータ）まであり、ハードウェア予算に合ったモデルを選べます。
オープンソースかつ拡張可能 – コアのrfdetrパッケージはApache 2.0ライセンスで公開されています。より大きな「Plus」モデルは、許容性の高いPML 1.0ライセンスで利用可能です。
Roboflowプラットフォーム上のNAS – 論文で作成されたモデルに使用された同じNASパイプラインがサービスとして公開されており、独自のデータセットに最適なカスタムアーキテクチャを自動的に探索できます。

すぐに始められる（数行のコードで）

import supervision as sv
from rfdetr import RFDETRMedium          # 任意のサイズを選択：Atto, Nano, Small, …
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()                  # 事前学習済みのCOCO重みを読み込みます

# 画像URLに対して推論を実行
preds = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

# ヒューマンリーダブルなラベル（COCOクラス名）
labels = [COCO_CLASSES[i] for i in preds.class_id]

# 結果の可視化
annotated = sv.BoxAnnotator().annotate(preds.metadata["source_image"], preds)
annotated = sv.LabelAnnotator().annotate(annotated, preds, labels)

同じモデルは、Inferenceライブラリ（get_model("rfdetr-medium")）を介して利用することもできます。より高レベルなラッパーを好む場合に適しています。

ベンチマークの概要

モデル	COCO AP₅₀	COCO AP (50:95)	レイテンシ (ms, T4, FP16)	パラメータ数 (M)	ライセンス
RF‑DETR‑Atto (プレビュー)	49.4	30.5	1.0	7.4	PML 1.0
RF‑DETR‑Nano	67.6	48.4	2.3	30.5	Apache 2.0
RF‑DETR‑Medium	73.6	54.7	4.4	33.7	Apache 2.0
RF‑DETR‑Large	75.1	56.5	6.8	33.9	Apache 2.0
RF‑DETR‑2XL (プレビュー)	78.5	60.1	17.2	126.9	PML 1.0

レイテンシの数値は、TensorRT（FP16、バッチサイズ1）を使用したNVIDIA T4 GPU上で測定されています。

さらに詳しく知りたい方へ

パッケージ – pip install rfdetr でインストール可能（Python ≥ 3.10）。
ソースコードとリリース – https://github.com/roboflow/rf-detr
論文 – arXiv: 2511.09554（バッジからリンク）。
ライブデモ – Hugging Face Space: https://huggingface.co/spaces/SkalskiP/RF-DETR
Colabノートブック – 自分のデータでファインチューニング： https://colab.research.google.com/github/roboflow-ai/notebooks/...
Roboflowブログ記事 – 概要とトレーニングのヒント： https://blog.roboflow.com/rf-detr
Discordコミュニティ – https://discord.gg/GbfgXGJ8Bk

TL;DR

RF‑DETRは、リアルタイム、Transformerベースのビジョンライブラリであり、さまざまなモデルサイズで高精度な検出、セグメンテーション、および（プレビュー）ポーズ推定を実現します。rfdetrというpipインストール可能なライブラリとして提供され、Apacheライセンスのチェックポイントを備え、Roboflowプラットフォーム上でカスタムNAS駆動のモデル探索ツールも含まれています。