facebookresearch/dinov2

해결하는 문제

DINOv2는 광범위한 미세 조정 없이도 다양한 컴퓨터 비전 작업에 사용할 수 있는 강력하고 고성능인 시각적 특징을 제공합니다. 감독 없이 이미지에서 시각적 표현을 학습함으로써 대규모 라벨링 데이터셋의 필요성을 제거합니다.

작동 원리

라벨이나 주석 없이 1억 4,200만 장의 이미지로 구성된 방대한 데이터셋에서 사전 학습된 Vision Transformer (ViT) 아키텍처를 사용합니다. 이 프로젝트는 사전 학습된 백본(특징 품질을 향상시키는 'registers'가 포함된 버전 포함)과 이미지 분류, 깊이 추정, 의미론적 분할과 같은 작업을 위한 전용 헤드를 제공합니다. 또한 의료 영상용 XRay-DINO 및 현미경 검사용 Cell-DINO와 같은 도메인 특화 백본에 대한 지원도 포함합니다.

대상 사용자

분류, 깊이 추정, 의미론적 분할 등 다양한 도메인의 다운스트림 작업을 위해 고품질의 범용 시각적 특징이 필요한 컴퓨터 비전 연구자 및 개발자.

주요 특징

• 자기지도 학습: 라벨 없이 1억 4,200만 장의 이미지로 사전 학습.
• 다양한 백본: 여러 ViT 크기(Small, Base, Large, Giant)와 registers가 포함된 버전 제공.
• 다양한 작업 지원: 이미지 분류, 깊이 추정(NYUd, KITTI), 의미론적 분할(ADE20K, VOC2012)을 위한 사전 학습된 헤드 제공.
• 도메인 확장: X선 분석 및 세포 형광 현미경 검사를 위한 전문적인 지원 포함.
• 시각-언어 정렬: 이미지 및 픽셀 수준 정렬을 통한 제로샷 작업을 위한 dino.txt 포함.