facebookresearch/dinov2

解決する課題

DINOv2は、広範な微調整を必要とせずに、さまざまなコンピュータビジョンタスクに使用できる堅牢で高性能な視覚的特徴を提供します。教師なしで画像から視覚的表現を学習することで、大規模なラベル付きデータセットの必要性を排除します。

仕組み

1億4200万枚の画像からなる膨大なデータセットで事前学習された Vision Transformer (ViT) アーキテクチャを使用しており、ラベルやアノテーションは一切不要です。このプロジェクトでは、事前学習済みのバックボーン（特徴品質を向上させる「registers」付きのバージョンを含む）や、画像分類、深度推定、セマンティックセグメンテーションなどのタスク向けの専用ヘッドを提供しています。また、医療画像用の XRay-DINO や顕微鏡画像用の Cell-DINO といったドメイン特化型のバックボーンもサポートしています。

対象ユーザー

分類、深度推定、セマンティックセグメンテーションなど、さまざまなドメインのダウンストリームタスクにおいて、高品質で汎用的な視覚的特徴を必要とするコンピュータビジョンの研究者および開発者。

ハイライト

• 自己教師あり学習: ラベルなしで1億4200万枚の画像を用いて事前学習。
• 多用途なバックボーン: 複数の ViT サイズ（Small, Base, Large, Giant）と registers 付きバージョンを提供。
• 多様なタスクへの対応: 画像分類、深度推定 (NYUd, KITTI)、セマンティックセグメンテーション (ADE20K, VOC2012) 用の事前学習済みヘッドが利用可能。
• ドメイン拡張: X線解析や細胞蛍光顕微鏡検査向けの専門的なサポートを含む。
• 視覚と言語の整合: 画像およびピクセルレベルの整合によるゼロショットタスク用の dino.txt を含む。