facebookresearch/dinov2

解决的问题

DINOv2 提供强大且高性能的视觉特征，可用于各种计算机视觉任务，而无需进行大量的微调。它通过在没有监督的情况下从图像中学习视觉表征，消除了对大规模标注数据集的需求。

运作原理

它使用在 1.42 亿张图像的庞大数据集上预训练的 Vision Transformer (ViT) 架构，且无需任何标签或注释。该项目提供预训练的骨干网络（包括带有「registers」以提高特征质量的版本），以及用于图像分类、深度估计和语义分割等任务的专用头部。它还包括对特定领域骨干网络的支持，例如用于医学影像的 XRay-DINO 和用于显微镜检查的 Cell-DINO。

目标对象

需要高质量、通用视觉特征以进行分类、深度估计和语义分割等下游任务的计算机视觉研究人员和开发人员。

特色亮点

• 自我监督学习：在 1.42 亿张图像上进行预训练，无需标签。
• 多功能骨干网络：提供多种 ViT 尺寸（Small, Base, Large, Giant）以及带有 registers 的版本。
• 支持多种任务：提供用于图像分类、深度估计 (NYUd, KITTI) 和语义分割 (ADE20K, VOC2012) 的预训练头部。
• 领域扩展：包括对 X 光分析和细胞荧光显微镜检查的专门支持。
• 视觉-语言对齐：包含 dino.txt，用于通过图像和像素级对齐进行零样本任务。