Intellindust-AI-Lab/DEIMv2

解決する課題

DEIMv2 は、多様なハードウェア上で高精度かつ効率的なリアルタイム物体検出のニーズに応えます。従来の検出器は速度と精度のトレードオフがよくありますが、DEIMv2 は超軽量（Atto）から特大（X）までのモデルサイズのスペクトラムを提供し、デプロイシナリオに応じて適切なバランスを選択できます。挑戦的な COCO ベンチマークで最先端の結果を達成し、S モデルはすでに 50 AP を超えており、精度を速度のために犠牲にする必要がないことを証明しています。

仕組み

DEIMv2 は DEIM 検出フレームワークの進化版です。現代のビジョンバックボーンである DINOv3 の豊富な特徴を活用して性能を向上させます。小さいバリアント（S および M）には、DINOv3 から蒸留されたカスタム ViT-Tiny バックボーンを使用し、効率的かつ強力なモデルを実現します。コードベースは設定可能なトレーニング、テスト、ファインチューニングのパイプラインを提供し、モデルは Hugging Face で公開されており簡単にロードできます。ONNX へのエクスポートや TensorRT または OpenVINO でのデプロイのためのツールも含まれ、Intel Geti との統合によりコードなしのファインチューニングも可能です。

対象ユーザー

DEIMv2 は、エッジデバイス（Atto、Femto、Pico を使用）またはハイエンドサーバー（L または X を使用）でのリアルタイムアプリケーションで正確な物体検出を必要とする開発者や研究者を対象としています。また、COCO 形式のカスタムデータセットでファインチューニングしたいチームや、Geti を介して Intel ハードウェアにデプロイする必要があるチームにも適しています。このプロジェクトは貢献を歓迎し、事前学習済みモデルからカスタムトレーニングへの明確なパスを提供します。

ハイライト

• COCO での最先端のパフォーマンス：S モデルは 50 AP を超え、X モデルは 57.8 AP に達します。
• 8 つのモデルバリアント（Atto、Femto、Pico、N、S、M、L、X）が幅広い計算予算をカバーします。
• DINOv3 の特徴とカスタム蒸留 ViT バックボーンを使用して、精度と速度のバランスを取ります。
• モデルとコードは Hugging Face と GitHub で入手でき、詳細な設定ファイルが付属しています。
• デプロイサポート：ONNX エクスポート、TensorRT（FP16 用）、Intel Geti 統合による OpenVINO。
• X-AnyLabeling および LightlyTrain と統合され、実用性が広がります。