TencentARC/Track4World

解決的問題

Track4World 解決了單眼影片中每個像素的密集 3D 追蹤挑戰。它能估計任意幀對之間的 3D 場景光流，讓使用者能在全域、以世界為中心的座標系中追蹤所有像素的運動，而不僅僅是少數稀疏點或相機相對位置。

工作原理

此專案採用前饋方式來估計密集 3D 場景光流。支援多種深度主幹（如 Depth Anything v3、MoGe 和 Pi3），用於重建 3D 運動。針對以世界為中心的追蹤，可整合 DINO 和 SAM2 來分割動態物件，有助於將前景物件與靜態背景分離，提升視覺化與追蹤準確度。

適用對象

本工具專為從事電腦視覺、3D 場景重建與運動分析的研究人員與開發者設計，適用於需要從單一鏡頭影片串流中取得高密度 3D 追蹤的使用者。

主要亮點

• 密集 3D 追蹤：在以世界為中心的座標系中跨幀追蹤每個像素。
• 前饋估計：高效估計任意幀對之間的 3D 場景光流。
• 支援度量尺度：使用 Depth Anything v3 主幹時，可提供公尺級座標輸出。
• 多主幹相容性：相容多種深度估計模型，包括 MoGe 和 Pi3。