AMAP-ML/DreamX-World

解决的问题

DreamX-World 是一个通用的交互式世界模型，能够生成高保真、可控制的模拟环境，使用户可以通过事件提示探索和改造环境。它解决了长期视频生成中常见的身份、背景和风格漂移问题，同时实现了对相机运动和环境变化的精确控制。

工作原理

该模型使用可扩展的数据引擎进行训练，该引擎结合了 Unreal Engine 数据、游戏实录视频和真实世界视频，并辅以相机估计。采用渐进式训练流程：首先学习细粒度的动作控制，然后学习开放式的事件响应，最后通过强化学习提升视觉保真度和交互一致性。为在重新访问区域时保持场景持久性，模型使用几何引导的记忆检索来恢复先前观察到的视觉证据。为提高效率，模型采用强制（forcing）和蒸馏（distillation）技术，使交互式生成成为可能。

适用人群

本项目专为从事世界模型、交互式AI模拟以及游戏、虚拟环境和机器人模拟等领域高保真视频生成的研究人员和开发者设计。

主要亮点

• 交互式探索：支持第一人称和连贯的第三人称视角，具备稳定的相机跟随行为。
• 长时程生成：能够生成长达1分钟且无显著视觉漂移的连贯视频。
• 可提示事件：允许用户触发单个或复合事件，动态改变环境。
• 场景持久性：使用几何引导记忆，确保重访区域的布局和物体身份保持一致。
• 多样化环境：可生成从现实城市与自然场景到风格化科幻与奇幻世界的广泛环境。