yehonathanlitman/Lift4D

解决的问题

Lift4D 能够从单视角的「野外」视频中重建完整的 4D 资产（随时间变化的 3D 对象）。它解决了在物体可能移动或变形的视频中创建时间一致的 3D 模型的挑战，通过将多个单视角估计融合为一个统一的可变形模型。

工作原理

该流程分为三个明确的阶段：

1. 分割：使用 SAM 3 基于文本提示从视频中分割出目标对象。
2. Causal SAM3D：对每一帧进行 3D 重建，利用因果潜在传播来保持帧间的时间一致性。
3. Lift4D 训练：将各个帧的重建结果融合为一个标准形状与学习到的变形场，生成一致的 4D 资产。

适用人群

本工具专为从事计算机视觉、4D 重建和数字资产创建的研究人员与开发者设计，适用于需要将现实世界视频片段转换为可动画 3D 模型的用户。

亮点

• 野外视频能力：支持自定义视频与文本提示进行对象分割。
• 时间一致性：采用因果潜在传播，确保 3D 重建在帧间保持稳定。
• 两步优化：将训练过程分为几何优化与外观精炼两个阶段。
• 遮挡处理：支持遮挡合成，利用场景深度信息对缺失部分进行补全。