Tencent/YOLO-Master

解决的问题

实时目标检测 (RTOD) 模型通常使用静态、密集的计算，这意味着它们在处理简单背景时与处理复杂场景时消耗相同的处理能力。这导致了计算冗余和性能不佳。YOLO-Master 通过混合专家模型 (MoE) 架构引入了“按需计算”(compute-on-demand)，允许模型根据输入图像的复杂度自适应地分配计算资源。

运作原理

• 高效稀疏 MoE (ES-MoE)：该框架将 MoE 模块整合到 YOLO 架构中。它不使用单一密集层，而是使用多个“专家”(专门的子网络)。
• 动态路由：轻量级路由网络决定哪些专家与给定输入最相关，在推理期间仅启动其中一部分以减少 FLOPs。
• MoE 优化：包含负载平衡损失 (MoELoss) 以确保专家得到有效训练，并提供剪枝工具以移除未充分利用的专家，进一步提升速度。
• PEFT 整合：通过 LoRA 支持参数高效微调 (PEFT)，允许用户仅使用一小部分可训练参数将模型适应到新任务。

适用对象

• 计算机视觉工程师：需要最大化准确度与延迟之间权衡的实时检测系统构建者。
• 边缘设备开发者：在计算预算有限的硬件上部署模型并需要自适应推理的开发者。
• AI 研究人员：探索 MoE 与视觉任务交叉领域的研究者。

特色亮点

• 自适应计算：从静态密集计算转变为输入自适应分配。
• 高性能 (High Performance)：YOLO-Master-N 在 MS COCO 上达到 42.4% AP，延迟仅 1.62ms，在速度和准确度上均优于 YOLOv13-N。
• 参数高效微调：内置对整个 YOLO 系列 (v3 到 v12) 和 RT-DETR 的 LoRA 支持，内存使用量最高可减少 70%。
• 全面工具支持：包含 MoE 剪枝、诊断工具，并支持导出至 ONNX 和 TensorRT。