IamCreateAI/NeoVerse

What it solves

NeoVerse 解决了从标准、单相机（单目）视频中建立 4D 世界模型的挑战。它允许用户使用普通视频，重建 3D 场景与相机运动，从而实现从完全不同的相机轨迹（新颖轨迹视频生成）生成新视频，从而支持各种 4D 重建任务。

How it works

NeoVerse 将两个主要组件整合进一个流水线中：

1. Reconstructor: 使用 Gaussian Splats 重建场景的 3D 结构，并从单目视频中估计相机位姿。它与多种重建器兼容，包括基于 WorldMirror 的版本和 Depth Anything 3。

2. Video Diffusion Model: 使用由 4-step distilled LoRA 加速的 WAN 2.1 主干网络，系统根据重建的 3D 场景与目标相机轨迹生成高质量的视频帧。

用户可以通过预定义的 motions 运动，或通过自定义的 JSON 檔案/文件，进行精确的关键帧控制。系统也可以处理静态场景（单张图像）或带有移动物体的通用场景。

Who it’s for

此工具是为计算机视觉与视频生成领域的研究人员与开发人员设计的，设计的目的是为了合成新颖的視角，稳定器影像，或将单视角视频扩展为多视角序列。

Highlights

• Novel Trajectory Generation: 为现有场景创建新的相机路径（例如：orbit, push-in, boom-up）。
• Fast Inference: 使用 distilled LoRA，在单张 A800 GPU 上可在 fmt-30秒内完成整个流水线。
• n/a: 支持多种 3D 重建器来估計 3D 场景幾何結構。
• Flexible Control: 提供简单的预定义相机运动与复杂的、关键帧层级的 JSON 轨迹控制。
• Downstream Applications: 包括相机稳定化、视频编辑与单视角转多视角扩展工具。