facebookresearch/vggt-omega

VGGT-Ω とは何か？

VGGT-Ω（読み方：V-G-G-T オメガ）は、1枚以上のRGB画像を入力として、同時に以下の情報を予測する研究用ニューラルネットワークです：

各視点のカメラポーズ（外部パラメータ＋内部パラメータ）
深度マップとその信頼度推定値
オプションのテキストアライメント埋め込み：視覚表現を自然言語プロンプトと紐づける

このモデルはオックスフォード大学のVisual Geometry GroupとMeta AIが共同で開発したもので、arXiv論文 VGGT-Ω（arXiv:2605.15195）に詳述されています。3D再構成、AR/VR、ロボット工学など、幾何情報が必要なコンピュータビジョンタスクに向けたものです。たとえば、生の写真からカメラの位置と表面までの距離を直接知りたい場合に最適です。

主な特徴（リポジトリに記載）

特徴	詳細
モデルサイズ	512px解像度の10億パラメータチェックポイント（一般用途）と、テキストアライメント埋め込みを含む256pxバージョン。
学習データ	8つの大規模データセットで学習済み。リポジトリにはシーケンスリストと、新しいデータを準備するためのキュレーションパイプライン（教師あり幾何フィルタリングステップを含む）が同梱されています。
再現性	ベンチマーク数値の検証用に、2番目の「再現用」チェックポイント（416px）と `reproduction.md` が提供されています。
推論出力	`pose_enc`（カメラエンコーディング）、`depth`、`depth_conf`、`camera_and_register_tokens`（個別のカメラトークンとピクセルごとのレジスタトークン）を含む辞書を返します。
デモ	GradioによるWeb UIで、予測された点群（深度非投影）とカメラポーズをGLB形式の3Dシーンとして可視化します。
GPUメモリプロファイル	A100での最大メモリ使用量の詳細な表（例：単一の512pxフレームで約6GB）。
ライセンス	リポジトリのLICENSEファイルに従うオープンソース（参照）。

クイックスタートガイド（READMEより）

# 1. クローンとインストール
git clone git@github.com:facebookresearch/vggt-omega.git
cd vggt-omega
pip install -r requirements.txt
pip install -e .

import torch
from vggt_omega.models import VGGTOmega
from vggt_omega.utils.load_fn import load_and_preprocess_images
from vggt_omega.utils.pose_enc import encoding_to_camera

# チェックポイントの読み込み（Hugging Faceでアクセス権を事前に申請する必要があります）
ckpt = "path/to/vggt_omega_1b_512.pt"
model = VGGTOmega().to("cuda").eval()
model.load_state_dict(torch.load(ckpt, map_location="cpu"))

# 画像の準備（ファイルパスのリスト）
imgs = load_and_preprocess_images(["imgA.png", "imgB.png"], image_resolution=512).to("cuda")

with torch.inference_mode():
    out = model(imgs)

# ポーズエンコーディングを実用可能な外向きパラメータ／内向きパラメータに変換
extrinsics, intrinsics = encoding_to_camera(
    out["pose_enc"], out["images"].shape[-2:]
)

# 深度マップと信頼度
depth = out["depth"]
conf  = out["depth_conf"]

テキストアライメントチェックポイントを使用する場合は、VGGTOmega(enable_alignment=True) でモデルをインスタンス化し、out["text_alignment_embedding"] を読み取ってください。

インタラクティブデモの実行

pip install -r requirements_demo.txt   # Gradioおよび可視化用の追加依存関係
python demo_gradio.py \
  --checkpoint checkpoints/VGGT-Omega-1B-512/model.pt \
  --image-resolution 512

デモでは、画像または動画をアップロードし、モデルを実行して3Dビューアーで得られた点群とカメラポーズを表示できます。

モデルの入手先

Hugging Faceモデルページでアクセス権を申請してください： https://huggingface.co/facebook/VGGT-Omega。承認後、テーブルに記載された.ptファイル（512px、416px再現用、256pxテキストアライメント用）をダウンロードできます。

再現性リソース

training/ – 元の学習実行に使用したコード。
training/valid_seqs/ – 8つのデータセットのシーケンスリスト。
training/dataset_preparation/ – データ収集、変換、クリーニング、視覚的レビュー用のスクリプトとガイド（エージェント支援レビューツールを含む）。
training/curation/ – 教師あり幾何フィルタリングパイプライン。
reproduction.md – 416pxチェックポイントでベンチマーク結果を再現するための手順とノート。

引用

VGGT-Ωを研究で使用する場合、以下のarXiv論文を引用してください：

@misc{wang2026vggtomega,
  title={VGGT-\$\Omega$},
  author={Jianyuan Wang and Minghao Chen and Shangzhan Zhang and Nikita Karaev and Johannes Sch"onberger and Patrick Labatut and Piotr Bojanowski and David Novotny and Andrea Vedaldi and Christian Rupprecht},
  year={2026},
  eprint={2605.15195},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2605.15195}
}

まとめ

VGGT-Ωは、画像からカメラの幾何情報と密な深度を予測する最先端のオープンソースビジョンモデルであり、オプションでテキストアライメントも可能。リポジトリには事前学習済みチェックポイント、再現可能な学習パイプライン、実行可能なデモが含まれており、幾何情報に敏感なAIシステムを構築する際の優れた出発点です。