Eyeline-Labs/Vista4D

解决的问题

Vista4D 解决了「视频重拍」的挑战，即从源视频中合成动态场景，但使用完全新的相机轨迹和视角。它特别解决了使用真实世界视频的不精确 4D 重建来指导视频生成时出现的分布偏移和伪影问题。

工作原理

Vista4D 使用 4D 点云来表示动态场景。通过在嘈杂的、重建的多视角视频上进行训练，弥合了训练与推理之间的差距，使模型对真实世界 4D 重建中典型的伪影具有鲁棒性。该框架引入了时间上持续的静态点，以保持场景内容并提升相机控制能力。它是基于 Wan 2.1 (T2V-14B) 模型的微调版本构建的。

适用人群

此工具专为计算机视觉和视频合成领域的研究人员和开发者设计，适用于需要更改现有视频的相机角度、扩展动态场景或执行 4D 场景重构的场景。

主要亮点

• 鲁棒的 4D 引导：能够处理来自真实世界视频的不精确 4D 重建。
• 灵活的应用：支持动态场景扩展、4D 场景重构（点云编辑）以及带内存的长视频推理。
• 交互式相机 UI：包含基于 Viser 的 UI，用于设计目标相机路径和编辑点云。
• 多 GPU 支持：实现统一序列并行（USP），降低显存占用并加速推理。