TencentARC/Track4World

解决的问题

Track4World 解决了单目视频中每个像素的密集 3D 追踪挑战。它能够估计任意帧对之间的 3D 场景光流，使用户能够在全局的、以世界为中心的坐标系中追踪所有像素的运动，而不仅仅是少数稀疏点或相机相对位置。

工作原理

该项目采用前馈方法来估计密集 3D 场景光流。它支持多种深度主干网络（如 Depth Anything v3、MoGe 和 Pi3），用于重建 3D 运动。对于以世界为中心的追踪，它可以与 DINO 和 SAM2 集成以分割动态物体，从而帮助将前景物体与静态背景分离，提升可视化效果和追踪精度。

适用人群

本工具专为从事计算机视觉、3D 场景重建和运动分析的研究人员与开发者设计，适用于需要从单摄像头视频流中获取高密度 3D 追踪的用户。

主要亮点

• 密集 3D 追踪：在以世界为中心的坐标系中跨帧追踪每个像素。
• 前馈估计：高效估计任意帧对之间的 3D 场景光流。
• 支持度量尺度：使用 Depth Anything v3 主干时，可提供米级坐标输出。
• 多主干兼容性：兼容多种深度估计模型，包括 MoGe 和 Pi3。