Tencent/YOLO-Master

解決する課題

リアルタイム物体検出 (RTOD) モデルは通常、静的で密な計算を使用するため、単純な背景でも複雑なシーンでも同じ処理能力を消費します。これは計算の冗長性とパフォーマンスの低下を招きます。YOLO-Master は、Mixture-of-Experts (MoE) アーキテクチャを通じて「オンデマンド計算」(compute-on-demand) を導入し、入力画像の複雑さに応じて計算リソースを適応的に割り当てることが可能です。

仕組み

• 効率的なスパース MoE (ES-MoE)：このフレームワークは、MoE ブロックを YOLO アーキテクチャに統合します。単一の密な層ではなく、複数の「エキスパート」(専門化されたサブネットワーク) を使用します。
• 動的ルーティング：軽量なルーティングネットワークが、特定の入力に対してどのエキスパートが最も関連性が高いかを判断し、推論中にその一部のみをアクティブにすることで FLOPs を削減します。
• MoE 最適化：エキスパートが効果的に学習されるようにするための負荷分散損失 (MoELoss) や、活用されていないエキスパートを削除してさらなる高速化を図るためのプルーニングツールが含まれています。
• PEFT 統合：LoRA を介したパラメータ効率の良い微調整 (PEFT) をサポートしており、ユーザーはごく一部の学習可能パラメータを使用してモデルを新しいタスクに適応させることができます。

対象ユーザー

• コンピュータビジョンエンジニア：精度とレイテンシのトレードオフを最大化する必要があるリアルタイム検出システムを構築する方。
• エッジデバイス開発者：計算リソースが限られたハードウェアにモデルをデプロイし、適応的な推論を必要とする開発者。
• AI 研究者：MoE とビジョンタスクの交差領域を研究している方。

ハイライト

• 適応的計算：静的な密な計算から、入力適応型の割り当てへ移行します。
• 高性能 (High Performance)：YOLO-Master-N は MS COCO で 42.4% AP を達成し、レイテンシは 1.62ms で、速度と精度の両面で YOLOv13-N を上回ります。
• パラメータ効率の良い微調整：YOLO ファミリー全体 (v3 から v12) および RT-DETR に対する LoRA サポートを内蔵しており、メモリ使用量を最大 70% 削減します。
• 包括的なツール群：MoE プルーニング、診断ツール、ONNX および TensorRT へのエクスポートサポートが含まれています。