roboflow/rf-detr

什么是 RF‑DETR？

RF‑DETR（实时 DEtection TRansformer）是一个开源的计算机视觉库，提供一系列基于 transformer 的模型，用于三个核心任务：

• 目标检测 – 定位并标记图像中的对象。
• 实例分割 – 为每个检测到的对象生成像素级掩码。
• 关键点检测 – 预测人体姿态类的关键点（目前为预览功能）。

所有这些功能都通过一个统一、一致的 Python API 提供。这些模型基于 DINOv2 视觉 transformer 主干网络（即“PE‑Core‑T”系列），并通过神经架构搜索（NAS）进行了优化，从而在实时应用中实现了出色的 精度-延迟权衡。

---

为什么它很重要

• 业界领先性能 – 在标准 COCO 基准测试中，最大的 RF‑DETR‑L 模型达到 75.1 % AP₅₀ 和 56.5 % AP（在 IoU 阈值范围内的平均精度），而最小的“Atto”变体在 NVIDIA T4 上运行时间仅为 ~1 ms。这使其在速度上与 YOLO 风格检测器相当，但精度更高。
• 统一 API – 一个模型类可用于检测、分割或（预览）姿态估计，简化需要多种视觉任务的代码库。
• 可扩展的模型库 – 模型大小从 Nano（30 M 参数）到 2XL（≈127 M 参数），可根据硬件预算选择合适的模型。
• 开源且可扩展 – 核心 rfdetr 包采用 Apache 2.0 许可证发布。更大的“Plus”模型则采用宽松的 PML 1.0 许可证提供。
• Roboflow 平台上的 NAS – 用于创建论文模型的相同 NAS 流程已作为服务开放，因此您可以自动搜索最适合您数据集的自定义架构。

---

如何快速上手（只需几行代码）

import supervision as sv
from rfdetr import RFDETRMedium          # 选择任意大小：Atto, Nano, Small, …
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()                  # 加载预训练的 COCO 权重

# 对图像 URL 进行推理
preds = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

# 人类可读的标签（COCO 类名）
labels = [COCO_CLASSES[i] for i in preds.class_id]

# 可视化结果
annotated = sv.BoxAnnotator().annotate(preds.metadata["source_image"], preds)
annotated = sv.LabelAnnotator().annotate(annotated, preds, labels)

如果您更喜欢更高层级的封装，也可以通过 Inference 库（get_model("rfdetr-medium")）使用同一模型。

---

快速基准对比

模型	COCO AP₅₀	COCO AP (50:95)	延迟（ms，T4，FP16）	参数量（M）	许可证
RF‑DETR‑Atto（预览）	49.4	30.5	1.0	7.4	PML 1.0
RF‑DETR‑Nano	67.6	48.4	2.3	30.5	Apache 2.0
RF‑DETR‑Medium	73.6	54.7	4.4	33.7	Apache 2.0
RF‑DETR‑Large	75.1	56.5	6.8	33.9	Apache 2.0
RF‑DETR‑2XL（预览）	78.5	60.1	17.2	126.9	PML 1.0

延迟数据是在 NVIDIA T4 GPU 上使用 TensorRT（FP16，批量大小为 1）测量的。

---

更多信息获取途径

• 包 – 通过 pip install rfdetr 安装（Python ≥ 3.10）。
• 源代码与发布版本 – https://github.com/roboflow/rf-detr
• 论文 – arXiv: 2511.09554（通过徽章链接）。
• 在线演示 – Hugging Face Space： https://huggingface.co/spaces/SkalskiP/RF-DETR
• Colab 笔记本 – 在您自己的数据上进行微调： https://colab.research.google.com/github/roboflow-ai/notebooks/...
• Roboflow 博客文章 – 概述与训练技巧： https://blog.roboflow.com/rf-detr
• Discord 社区 – https://discord.gg/GbfgXGJ8Bk

---

一句话总结

RF‑DETR 是一个 实时、基于 transformer 的视觉库，可在多种模型尺寸下实现高精度的目标检测、分割和（预览）姿态估计。它以 pip 可安装的 rfdetr 库形式发布，提供 Apache 许可的检查点，并包含在 Roboflow 平台上进行自定义 NAS 驱动模型搜索的工具。