Tencent/YOLO-Master

해결하는 문제

실시간 객체 탐지 (RTOD) 모델은 일반적으로 정적이고 밀집된 계산을 사용하므로, 단순한 배경을 처리할 때와 복잡한 장면을 처리할 때 동일한 처리 능력을 소비합니다. 이는 계산 중복과 성능 저하를 초래합니다. YOLO-Master는 Mixture-of-Experts (MoE) 아키텍처를 통해 "온디맨드 계산"(compute-on-demand)을 도입하여, 입력 이미지의 복잡도에 따라 모델이 적응적으로 컴퓨팅 리소스를 할당할 수 있게 합니다.

작동 원리

• 효율적인 희소 MoE (ES-MoE): 이 프레임워크는 MoE 블록을 YOLO 아키텍처에 통합합니다. 단일 밀집 레이어 대신 여러 "전문가"(특화된 서브 네트워크)를 사용합니다.
• 동적 라우팅: 경량 라우팅 네트워크가 주어진 입력에 가장 관련성이 높은 전문가를 결정하며, 추론 중에 그중 일부만 활성화하여 FLOPs를 줄입니다.
• MoE 최적화: 전문가가 효과적으로 학습되도록 보장하는 부하 분산 손실 (MoELoss)과 활용도가 낮은 전문가를 제거하여 속도를 더욱 높이는 가지치기(pruning) 도구가 포함되어 있습니다.
• PEFT 통합: LoRA를 통한 매개변수 효율적 미세 조정 (PEFT)을 지원하여, 사용자가 적은 수의 학습 가능한 매개변수만으로 모델을 새로운 작업에 적응시킬 수 있습니다.

대상 사용자

• 컴퓨터 비전 엔지니어: 정확도와 지연 시간 사이의 균형을 극대화해야 하는 실시간 탐지 시스템 구축자.
• 엣지 디바이스 개발자: 컴퓨팅 예산이 제한된 하드웨어에 모델을 배포하고 적응형 추론이 필요한 개발자.
• AI 연구원: MoE와 비전 작업의 교차점을 연구하는 연구자.

주요 특징

• 적응형 계산: 정적인 밀집 계산에서 입력 적응형 할당으로 전환합니다.
• 고성능 (High Performance): YOLO-Master-N은 MS COCO에서 42.4% AP를 달성하며 지연 시간은 1.62ms로, 속도와 정확도 모두에서 YOLOv13-N을 능가합니다.
• 매개변수 효율적 미세 조정: 전체 YOLO 제품군 (v3~v12) 및 RT-DETR에 대한 LoRA 지원이 내장되어 있어 메모리 사용량을 최대 70%까지 줄입니다.
• 포괄적인 도구 지원: MoE 가지치기, 진단 도구, ONNX 및 TensorRT로의 내보내기 지원이 포함되어 있습니다.