facebookresearch/vggt-omega

什么是 VGGT-Ω？

VGGT-Ω（发音：V-G-G-T Omega）是一种研究级神经网络，输入一张或多张RGB图像，同时预测：

每个视角的相机位姿（外参 + 内参）
深度图及深度的置信度估计
可选的文本对齐嵌入，将视觉表示与自然语言提示关联起来

该模型由牛津大学视觉几何组与Meta AI共同开发，相关工作发表在arXiv论文 VGGT-Ω（arXiv:2605.15195）中。适用于需要几何信息的计算机视觉任务，例如3D重建、AR/VR、机器人学，或任何需要从原始照片中直接获取相机位置和表面距离的应用场景。

主要特性（在仓库中记录）

特性	详情
模型大小	一个512px分辨率的10亿参数检查点（通用用途）和一个包含文本对齐嵌入的256px版本。
训练数据	在八个大规模数据集上训练；仓库现在包含序列列表和一个经过筛选的数据准备管道，包括监督式几何过滤步骤。
可复现性	提供第二个“复现”检查点（416px）和配套的 `reproduction.md`，用于验证基准数据。
推理输出	返回一个字典，包含 `pose_enc`（相机编码）、`depth`、`depth_conf` 和 `camera_and_register_tokens`（独立的相机令牌和每像素注册令牌）。
演示	一个Gradio网页UI，可将预测的点云（深度未投影）和相机位姿可视化为GLB场景。
GPU内存配置	详细表格展示在A100上最多500帧的峰值内存使用情况（例如，单个512px帧约6GB）。
许可证	开源，遵循仓库中的LICENSE文件（见文件）。

快速入门指南（来自README）

# 1. 克隆并安装
git clone git@github.com:facebookresearch/vggt-omega.git
cd vggt-omega
pip install -r requirements.txt
pip install -e .

import torch
from vggt_omega.models import VGGTOmega
from vggt_omega.utils.load_fn import load_and_preprocess_images
from vggt_omega.utils.pose_enc import encoding_to_camera

# 加载检查点（需先在Hugging Face申请访问权限）
ckpt = "path/to/vggt_omega_1b_512.pt"
model = VGGTOmega().to("cuda").eval()
model.load_state_dict(torch.load(ckpt, map_location="cpu"))

# 准备图像（文件路径列表）
imgs = load_and_preprocess_images(["imgA.png", "imgB.png"], image_resolution=512).to("cuda")

with torch.inference_mode():
    out = model(imgs)

# 将位姿编码转换为可用的外参/内参
extrinsics, intrinsics = encoding_to_camera(
    out["pose_enc"], out["images"].shape[-2:]
)

# 深度图和置信度图
depth = out["depth"]
conf  = out["depth_conf"]

对于文本对齐检查点，使用 VGGTOmega(enable_alignment=True) 实例化模型，并读取 out["text_alignment_embedding"]。

运行交互式演示

pip install -r requirements_demo.txt   # Gradio与可视化所需的额外依赖
python demo_gradio.py \
  --checkpoint checkpoints/VGGT-Omega-1B-512/model.pt \
  --image-resolution 512

演示允许您上传图像或视频，运行模型，并在3D查看器中查看生成的点云和相机位姿。

模型获取方式

在Hugging Face模型页面申请访问权限： https://huggingface.co/facebook/VGGT-Omega。审批通过后，可下载表格中列出的.pt文件（512px、416px复现版、256px文本对齐版）。

可复现性资源

training/ – 原始训练运行所用代码。
training/valid_seqs/ – 八个数据集的序列列表。
training/dataset_preparation/ – 数据收集、转换、清洗和视觉审查的脚本与指南（含代理辅助审查工具）。
training/curation/ – 监督式几何过滤管道。
reproduction.md – 使用416px检查点复现基准结果的说明与笔记。

引用

若在研究中使用VGGT-Ω，请引用arXiv论文：

@misc{wang2026vggtomega,
  title={VGGT-\$\Omega$},
  author={Jianyuan Wang and Minghao Chen and Shangzhan Zhang and Nikita Karaev and Johannes Sch"onberger and Patrick Labatut and Piotr Bojanowski and David Novotny and Andrea Vedaldi and Christian Rupprecht},
  year={2026},
  eprint={2605.15195},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2605.15195}
}

总结

VGGT-Ω是一种最先进的开源视觉模型，能够从图像中预测相机几何和密集深度，支持可选的文本对齐。仓库提供了预训练检查点、可复现的训练流程和即开即用的演示，是构建几何感知AI系统的绝佳起点。