roboflow/rf-detr

什麼是 RF‑DETR？

RF‑DETR（即時 DETR）是由 Roboflow 所開發的開源電腦視覺模型家族，採用基於 Transformer 的骨幹網絡（DINOv2 視覺 Transformer）執行 物件檢測、實例分割，以及目前處於預覽階段的 關鍵點檢測。它被定位為傳統 DETR 風格模型的 即時 替代方案，在標準基準測試（如 Microsoft COCO 和 Roboflow 專用的 RF100‑VL 資料集）上實現了出色的準確度-延遲權衡。

---

主要特色（README 中所述）

特色	詳細資訊
統一 API	單一 Python 套件（rfdetr）讓您可透過單一類別名稱（例如 RFDETRMedium）載入檢測、分割或關鍵點模型。
多種尺寸	提供六種模型家族：Nano、Small、Medium、Large（Apache‑2.0 授權）以及 XL / 2XL（透過 rfdetr_plus 擴充功能，於 PML 1.0 授權下提供）。
骨幹網絡	所有模型共享 DINOv2 視覺 Transformer 骨幹網絡，這是一種先進的固定編碼器，用於視覺特徵提取。
即時性能	延遲在 NVIDIA T4（TensorRT，FP16，批次大小 1）上測量。最小模型每張影像運行時間約為 2 ms，最大模型延遲低於 20 ms，適用於邊緣或低延遲部署。
基準測試	README 包含與 YOLO 11/26、LW‑DETR、D‑FINE 以及 SAM 3 的對比表格，涵蓋 COCO AP‑50、AP‑50:95、RF100‑VL 分數、延遲、參數數量和解析度。RF‑DETR 在相近延遲下始終優於列出的競爭對手。
NAS 支援	架構透過神經架構搜尋（NAS）發現。相同的 NAS 流程在 Roboflow 平台上公開，允許使用者為自己的資料集搜尋客製化模型。
安裝	pip install rfdetr（Python ≥ 3.10）。開發版本可透過 GitHub 直接 URL 安裝。"plus" 模型需 pip install rfdetr[plus]。
示範與文件	提供 Hugging Face Space、Colab 筆記本、部落格文章和 Discord 社群連結，方便快速上手測試。
授權	核心模型採用 Apache 2.0；較大的 XL/2XL 模型則採用 Roboflow 專用的 PML 1.0 授權。

---

使用方法（來自 README 的快速範例）

import supervision as sv
from rfdetr import RFDETRMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()
# 對影像 URL 進行預測
preds = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

# 人類可讀標籤（COCO 預訓練）
labels = [COCO_CLASSES[i] for i in preds.class_id]

# 可視化
img = preds.metadata["source_image"]
img = sv.BoxAnnotator().annotate(img, preds)
img = sv.LabelAnnotator().annotate(img, preds, labels)

相同模式適用於分割（RFDETRSegMedium）和關鍵點模型（預覽）。也展示了替代的推論庫介面（inference.get_model("rfdetr-medium")）。

---

哪些人會需要這個？

• 開發者：需要一個即插即用的基於 Transformer 的檢測器/分割器，可在中等 GPU 上即時運行。
• 研究人員：對在 COCO 風格指標下比較 Transformer DETR 風格模型與 YOLO 系列模型感興趣的人。
• Roboflow 平台使用者：希望利用內建 NAS 自動為自訂資料集調校架構的人。

---

如何取得更多資訊

• 論文：arXiv 2511.09554（徽章中連結）。
• GitHub：您正在閱讀的倉儲（包含 rfdetr 套件、模型檢查點和基準腳本）。
• Hugging Face Space 和 Colab 筆記本 用於互動式示範。
• Roboflow 博客文章 和 Discord 用於社群支援。

---

以上所有陳述均直接取自倉儲的 README；未推斷任何額外功能。