NVlabs/RADIO

解決する課題

RADIOは、複数の大規模なビジョン基盤モデルを単一の統合バックボーンに置き換えるように設計されています。テキストグラウンディング、セグメンテーション、一般的な画像認識のために個別のモデルを実行する代わりに、RADIOは複数の「教師」モデル（CLIP、DINOv2、SAMなど）の知識を1つのモデルに蒸留し、それぞれの独自の強みを保持します。

仕組み

集約蒸留フレームワークを使用して、さまざまなビジョンモデルからの特徴を結合します。このシステムは、任意の入力解像度と非正方形の画像をサポートしています。また、モデルが特定の教師（SigLIPやSAMなど）と整合した特徴を出力できるようにする「アダプター」を採用しており、一部のアダプターはビジョン言語タスクのためのテキストトークン化とエンコーディングをサポートしています。

対象ユーザー

このプロジェクトは、異なるドメイン間で汎用性が高く、複数の個別の基盤モデルを実行するよりも効率的な高性能ビジョンバックボーンを必要とするコンピュータビジョン研究者および開発者を対象としています。

ハイライト

• マルチ教師蒸留: CLIP、DINOv2、SAMの機能を単一モデルに統合。
• 柔軟な入力: 非正方形の画像と任意の解像度をサポート。
• 効率性: CLIPやDINOv2よりも6〜10倍高速なE-RADIOバリアントが含まれています。
• 商用利用: 商用利用可能なライセンスの下でC-RADIOモデルファミリーを提供。
• 可変トークン化: RADIO1D研究バリアントは、1Dのグローバルトークンシーケンスを通じて、特徴のコンパクトさと再構成忠実度の間で調整可能なトレードオフを可能にします。