NVlabs/RADIO

해결하는 문제

RADIO는 여러 대형 비전 파운데이션 모델을 단일 통합 백본으로 대체하도록 설계되었습니다. 텍스트 그라운딩, 세그멘테이션, 일반 이미지 인식을 위해 별도의 모델을 실행하는 대신, RADIO는 여러 "교사" 모델(CLIP, DINOv2, SAM 등)의 지식을 각 모델의 고유한 강점을 유지하면서 하나의 모델로 증류합니다.

작동 원리

집계 증류 프레임워크를 사용하여 다양한 비전 모델의 특징을 결합합니다. 이 시스템은 임의의 입력 해상도와 비정사각형 이미지를 지원합니다. 또한 모델이 특정 교사(예: SigLIP 또는 SAM)와 정렬된 특징을 출력할 수 있도록 하는 "어댑터"를 채택하고 있으며, 일부 어댑터는 비전-언어 작업을 위한 텍스트 토큰화 및 인코딩을 지원합니다.

대상 사용자

이 프로젝트는 다양한 도메인에서 범용적이며 여러 개의 개별 파운데이션 모델을 실행하는 것보다 효율적인 고성능 비전 백본이 필요한 컴퓨터 비전 연구자 및 개발자를 위한 것입니다.

주요 특징

• 멀티 교사 증류: CLIP, DINOv2, SAM의 기능을 단일 모델로 통합.
• 유연한 입력: 비정사각형 이미지 및 임의의 해상도 지원.
• 효율성: CLIP 및 DINOv2보다 6-10배 빠른 E-RADIO 변형 포함.
• 상업적 이용 가능: 상업적으로 허용되는 라이선스 하에 C-RADIO 모델 제품군 제공.
• 가변 토큰화: RADIO1D 연구 변형은 1D 글로벌 토큰 시퀀스를 통해 특징 압축률과 재구성 충실도 간의 조정 가능한 트레이드오프를 허용합니다.