NVlabs/RADIO

解决的问题

RADIO 旨在用单一的统一骨干取代多个大型视觉基础模型。RADIO 不再需要为文本定位、分割和通用图像识别分别运行不同的模型，而是将多个“教师”模型（如 CLIP、DINOv2 和 SAM）的知识蒸馏到一个模型中，并保留每个模型的独特优势。

运作原理

它使用聚合蒸馏框架来结合来自各种视觉模型的特征。该系统支持任意输入分辨率和非正方形图像。它还采用了“适配器”(adaptors)，允许模型输出与特定教师（例如 SigLIP 或 SAM）对齐的特征，其中一些适配器支持用于视觉语言任务的文本标记化和编码。

适用对象

此项目适用于需要高性能视觉骨干的计算机视觉研究人员和开发人员，这些骨干需具备跨领域通用性，且比运行多个独立基础模型更有效率。

特色亮点

• 多教师蒸馏：将 CLIP、DINOv2 和 SAM 的能力整合到单一模型中。
• 灵活输入：支持非正方形图像和任意分辨率。
• 高效率：包含 E-RADIO 变体，速度比 CLIP 和 DINOv2 快 6-10 倍。
• 商业可用性：提供在商业许可下使用的 C-RADIO 模型系列。
• 可变标记化：RADIO1D 研究变体通过 1D 全局标记序列，允许在特征紧凑性和重建保真度之间进行可调的权衡。