haoz19/world-tracing

解决的问题

World Tracing 解决了标准单目深度图的局限性，后者仅捕捉物体或场景的可见表面。它预测“分层几何”，使系统能够估计前景后方可见和部分遮挡表面的 3D 结构。

工作原理

该项目使用流匹配扩散模型，从单张图像预测多个配准的 XYZ 图（点云）。单次前向传播即可生成多层几何，形成超出可见表面的 3D 骨架。它支持三种主要模式：

• 物体模式：从 RGBA 图像预测单个物体的几何。
• 场景模式：从 RGB 图像预测整个环境的几何。
• 动态模式：为 16 帧视频片段预测随时间变化的 3D 点云。

适用人群

该工具面向从事 3D 视觉、生成式 AI 和图像到 3D 重建的研究人员和开发者。对于需要比简单深度图更丰富的 3D 表示以用于下游任务（如网格生成）的用户尤其有用。

亮点

• 超越可见几何：预测遮挡表面，提供更完整的 3D 结构。
• 多层输出：生成多个 XYZ 图，共同形成全面的 3D 骨架。
• 视频支持：能够预测短视频片段的动态 3D 几何。
• 网格集成：包含到 TRELLIS.2 的桥接，可将预测的点云转换为带纹理的 GLB 网格。
• 内参恢复：可直接从预测几何中求解相机内参，无需外部姿态估计器。