TencentARC/VerseCrafter

解决的问题

VerseCrafter 解决了在 AI 生成视频中保持几何保真度和时空一致性的难题，特别是在尝试控制场景中相机和多个对象的运动时。

工作原理

该系统使用冻结的 Wan2.1 视频骨干网络，并附加一个几何感知的「GeoAdapter」，将 4D 几何控制注入扩散块。它使用统一的 4D 控制状态来管理相机和多对象运动。为支持这一点，项目引入了 VerseControl4D 数据集，其中包含带有自动生成的相机轨迹和 3D 高斯轨迹的真实世界视频，用于监督。

适用人群

专为从事可控视频生成和世界模型的研究人员和开发者设计，同时也适用于可以使用提供的 Blender 插件在 3D 环境中直观编辑轨迹的 3D 艺术家。

主要亮点

• 4D 几何控制：提供对相机和多对象运动的直接、可解释的控制。
• GeoAdapter：通过保持基础视频先验冻结，实现精确控制而不牺牲视频质量。
• Blender 集成：提供插件实现一站式工作流，允许用户在 3D 环境中直观编辑轨迹。
• VerseControl4D 数据集：一个专门为监督 4D 可控视频生成而构建的大规模数据集。