facebookresearch/VLM3

해결하는 문제

VLM³는 3D 시각 작업의 복잡성을 해결합니다. 전통적으로 3D 이해 분야에서 최첨단 결과를 달성하려면 특수 아키텍처, 복잡한 손실 함수, 광범위한 데이터 증강이 필요했습니다. VLM³는 표준 Vision Language Model (VLM)이 이러한 특수 추가 요소 없이도 해당 작업을 효과적으로 수행할 수 있음을 보여줍니다.

작동 원리

이 프로젝트는 표준 VLM 아키텍처(구체적으로 Qwen3-vl-4B)를 사용하며, 통합된 텍스트 기반 출력 도메인을 사용하여 지도 미세 조정(SFT)을 통해 학습합니다. 3D 공간 데이터를 처리하기 위해 다음을 수행합니다:

• 카메라 모호성: 입력 이미지를 일정한 초점 거리(예: 1000 픽셀)로 조정하여 추가 인코더의 필요성을 제거합니다.
• 공간 참조: 양쪽 축에 대해 정규화된 텍스트 좌표(예: [0, 2000) 또는 [0, 1000))를 사용하여 객체나 픽셀을 참조함으로써 마커 렌더링이나 아키텍처 변경의 필요성을 제거합니다.

대상 사용자

3D 컴퓨터 비전 및 멀티모달 AI 분야의 연구자 및 개발자로서, 작업별 모델을 설계하지 않고도 더 간단하고 확장 가능한 방식으로 3D 학습을 구현하고자 하는 분들.

주요 특징

• 아키텍처 변경 없음: 표준 VLM 아키텍처 및 손실 함수와 함께 작동합니다.
• 복잡한 증강 없음: 이미지 자르기, 회전 또는 평행 이동 증강의 필요성을 제거합니다.
• 광범위한 3D 기능: 메트릭 깊이 추정, 픽셀 대응 추정 및 카메라 포즈 추정을 수행합니다.
• 경쟁력 있는 성능: 다양한 3D 벤치마크에서 UnidepthV2, Moge-2, DepthAnything3와 같은 특수 모델과 대등하거나 그 이상의 성능을 발휘합니다.