facebookresearch/vggt-omega

VGGT-Ω 는 무엇인가요?

VGGT-Ω (발음: V-G-G-T 오메가)는 하나 이상의 RGB 이미지를 입력으로 받아 동시에 다음을 예측하는 연구용 신경망입니다:

각 시점의 카메라 포즈 (외부 및 내부 파라미터)
심도 맵 및 해당 심도에 대한 신뢰도 추정치
옵션으로 사용 가능한 텍스트 정렬 임베딩: 시각적 표현을 자연어 프롬프트와 연결

이 모델은 옥스포드 대학의 시각 기하학 그룹과 메타 AI가 공동으로 개발했으며, arXiv 논문 VGGT-Ω (arXiv:2605.15195)에 자세히 설명되어 있습니다. 3D 재구성, AR/VR, 로봇공학 등 기하학 정보가 필요한 컴퓨터 비전 작업에 적합합니다. 예를 들어, 원시 사진에서 카메라의 위치와 표면까지의 거리를 직접 알고 싶을 때 유용합니다.

주요 기능 (리포지토리에 기록됨)

기능	세부 사항
모델 크기	일반 용도용 512px 해상도의 10억 파라미터 체크포인트와 텍스트 정렬 임베딩을 포함한 256px 버전.
학습 데이터	8개의 대규모 데이터셋에서 학습됨. 리포지토리에는 시퀀스 목록과 새로운 데이터를 준비하기 위한 큐레이션 파이프라인(교사 기반 기하 필터링 단계 포함)이 포함되어 있음.
재현 가능성	벤치마크 수치를 검증하기 위해 두 번째 "재현용" 체크포인트(416px)와 함께 `reproduction.md` 가 제공됨.
추론 출력	`pose_enc`(카메라 인코딩), `depth`, `depth_conf`, `camera_and_register_tokens`(개별 카메라 토큰 및 픽셀별 레지스터 토큰)를 포함하는 사전을 반환.
데모	Gradio 웹 UI로 예측된 포인트 클라우드(심도 비투영)와 카메라 포즈를 GLB 시나리오로 시각화.
GPU 메모리 프로파일	A100에서 최대 메모리 사용량에 대한 상세 표 (예: 단일 512px 프레임에 약 6GB).
라이선스	리포지토리의 LICENSE 파일에 따라 오픈소스 (참조).

빠른 시작 가이드 (README에서)

# 1. 복제 및 설치
git clone git@github.com:facebookresearch/vggt-omega.git
cd vggt-omega
pip install -r requirements.txt
pip install -e .

import torch
from vggt_omega.models import VGGTOmega
from vggt_omega.utils.load_fn import load_and_preprocess_images
from vggt_omega.utils.pose_enc import encoding_to_camera

# 체크포인트 로드 (Hugging Face에서 사전에 접근 권한을 요청해야 함)
ckpt = "path/to/vggt_omega_1b_512.pt"
model = VGGTOmega().to("cuda").eval()
model.load_state_dict(torch.load(ckpt, map_location="cpu"))

# 이미지 준비 (파일 경로 리스트)
imgs = load_and_preprocess_images(["imgA.png", "imgB.png"], image_resolution=512).to("cuda")

with torch.inference_mode():
    out = model(imgs)

# 포즈 인코딩을 사용 가능한 외부/내부 파라미터로 변환
extrinsics, intrinsics = encoding_to_camera(
    out["pose_enc"], out["images"].shape[-2:]
)

# 심도 및 신뢰도 맵
depth = out["depth"]
conf  = out["depth_conf"]

텍스트 정렬 체크포인트를 사용하려면 VGGTOmega(enable_alignment=True)로 모델을 인스턴스화하고 out["text_alignment_embedding"]을 읽어보세요.

인터랙티브 데모 실행

pip install -r requirements_demo.txt   # Gradio 및 시각화용 추가 종속성
python demo_gradio.py \
  --checkpoint checkpoints/VGGT-Omega-1B-512/model.pt \
  --image-resolution 512

데모에서는 이미지 또는 동영상을 업로드하고 모델을 실행하여 3D 뷰어에서 결과 포인트 클라우드와 카메라 포즈를 확인할 수 있습니다.

모델 받는 방법

Hugging Face 모델 페이지에서 접근 권한 요청하기: https://huggingface.co/facebook/VGGT-Omega. 승인 후, 표에 나열된 .pt 파일(512px, 416px 재현용, 256px 텍스트 정렬용)을 다운로드할 수 있습니다.

재현성 리소스

training/ – 원본 학습 실행에 사용된 코드.
training/valid_seqs/ – 8개 데이터셋의 시퀀스 목록.
training/dataset_preparation/ – 데이터 수집, 변환, 정제, 시각적 검토용 스크립트 및 가이드 (에이전트 지원 검토 도구 포함).
training/curation/ – 교사 기반 기하 필터링 파이프라인.
reproduction.md – 416px 체크포인트로 벤치마크 결과를 재현하는 방법과 노트.

인용

VGGT-Ω를 연구에 사용할 경우, 다음 arXiv 논문을 인용하세요:

@misc{wang2026vggtomega,
  title={VGGT-\$\Omega$},
  author={Jianyuan Wang and Minghao Chen and Shangzhan Zhang and Nikita Karaev and Johannes Sch"onberger and Patrick Labatut and Piotr Bojanowski and David Novotny and Andrea Vedaldi and Christian Rupprecht},
  year={2026},
  eprint={2605.15195},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2605.15195}
}

결론

VGGT-Ω는 이미지에서 카메라 기하학과 밀도 깊이를 예측하는 최첨단 오픈소스 비전 모델이며, 선택적으로 텍스트 정렬 기능을 제공합니다. 리포지토리는 사전 학습된 체크포인트, 재현 가능한 학습 파이프라인, 실행 가능한 데모를 제공하여 기하학적 인식 AI 시스템을 구축하는 데 유용한 출발점이 됩니다.