TencentARC/VerseCrafter

解決的問題

VerseCrafter 解決了在 AI 生成影片中維持幾何忠實度與時空一致性之難題，特別是在嘗試控制場景中相機與多個物件運動時所面臨的挑戰。

工作原理

該系統使用凍結的 Wan2.1 影片骨幹網路，並附加一個幾何感知的「GeoAdapter」，將 4D 幾何控制注入擴散塊。它使用統一的 4D 控制狀態來管理相機與多物件運動。為支援此功能，專案引入了 VerseControl4D 數據集，其中包含帶有自動生成的相機軌跡與 3D 高斯軌跡的真實世界影片，用於監督。

適用對象

專為從事可控影片生成與世界模型的研究人員與開發者設計，同時也適用於可使用提供的 Blender 插件在 3D 環境中直觀編輯軌跡的 3D 藝術家。

主要亮點

• 4D 幾何控制：提供對相機與多物件運動的直接、可解釋的控制。
• GeoAdapter：透過保持基礎影片先驗凍結，實現精確控制而不犧牲影片品質。
• Blender 集成：提供插件實現一站式工作流程，允許使用者在 3D 環境中直觀編輯軌跡。
• VerseControl4D 數據集：一個專為監督 4D 可控影片生成而特別建構的大規模數據集。