roboflow/rf-detr

什么是 RF‑DETR？

RF‑DETR（实时 DETR）是由 Roboflow 开发的开源计算机视觉模型家族，采用基于 Transformer 的骨干网络（DINOv2 视觉 Transformer）执行 目标检测、实例分割，以及目前处于预览阶段的 关键点检测。它被定位为经典 DETR 风格模型的 实时 替代方案，在标准基准测试（如 Microsoft COCO 和 Roboflow 专用的 RF100‑VL 数据集）上实现了出色的精度-延迟权衡。

---

主要特性（README 中所述）

特性	详情
统一 API	一个 Python 包（rfdetr）允许您通过单一类名（例如 RFDETRMedium）加载检测、分割或关键点模型。
多种尺寸	提供六种模型家族：Nano、Small、Medium、Large（Apache‑2.0 许可证）以及 XL / 2XL（通过 rfdetr_plus 扩展在 PML 1.0 许可证下提供）。
骨干网络	所有模型共享 DINOv2 视觉 Transformer 骨干网络，这是一种最先进的冻结编码器，用于视觉特征提取。
实时性能	延迟在 NVIDIA T4（TensorRT，FP16，批量大小 1）上测量。最小模型每张图像运行时间约为 2 ms，最大模型延迟低于 20 ms，适用于边缘或低延迟部署。
基准测试	README 包含了与 YOLO 11/26、LW‑DETR、D‑FINE 以及 SAM 3 的对比表格，涵盖 COCO AP‑50、AP‑50:95、RF100‑VL 分数、延迟、参数量和分辨率。RF‑DETR 在相近延迟下始终优于列出的竞争对手。
NAS 支持	架构通过神经架构搜索（NAS）发现。相同的 NAS 流水线在 Roboflow 平台上开放，允许用户为自己的数据集搜索定制化模型。
安装	pip install rfdetr（Python ≥ 3.10）。开发版本可通过 GitHub 直接 URL 安装。"plus" 模型需要 pip install rfdetr[plus]。
演示与文档	提供 Hugging Face Space、Colab 笔记本、博客文章和 Discord 社区链接，便于快速上手测试。
许可证	核心模型采用 Apache 2.0；更大的 XL/2XL 模型采用 Roboflow 专用的 PML 1.0 许可证。

---

使用方法（来自 README 的快速示例）

import supervision as sv
from rfdetr import RFDETRMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()
# 对图像 URL 进行预测
preds = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

# 人类可读标签（COCO 预训练）
labels = [COCO_CLASSES[i] for i in preds.class_id]

# 可视化
img = preds.metadata["source_image"]
img = sv.BoxAnnotator().annotate(img, preds)
img = sv.LabelAnnotator().annotate(img, preds, labels)

相同模式适用于分割（RFDETRSegMedium）和关键点模型（预览）。还展示了替代的推理库接口（inference.get_model("rfdetr-medium")）。

---

哪些人会需要这个？

• 开发者：需要一个即插即用的基于 Transformer 的检测器/分割器，可在中等 GPU 上实时运行。
• 研究人员：对在 COCO 风格指标下比较 Transformer DETR 风格模型与 YOLO 系列模型感兴趣的人。
• Roboflow 平台用户：希望利用内置 NAS 自动为自定义数据集调优架构的人。

---

如何获取更多信息

• 论文：arXiv 2511.09554（在徽章中链接）。
• GitHub：您正在阅读的仓库（包含 rfdetr 包、模型检查点和基准脚本）。
• Hugging Face Space 和 Colab 笔记本 用于交互式演示。
• Roboflow 博客文章 和 Discord 用于社区支持。

---

以上所有陈述均直接取自仓库的 README；未推断任何额外功能。