Tencent-Hunyuan/HY-World-2.0

解决的问题

HY-World 2.0 解决了基于视频的世界模型的局限性，这些模型生成的非可编辑像素视频在播放后即消失。相反，它生成持久且可编辑的 3D 资产（网格、Gaussian Splattings 和点云），可集成到 Unity、Unreal Engine 和 Blender 等游戏引擎中，实现无限播放时长和原生 3D 一致性。

工作原理

该框架提供两种主要功能：

1. 世界生成：通过四阶段流水线将文本或单张图像转换为 3D 世界：
   • 全景生成（HY-Pano 2.0）创建 360° 视图。
   • 轨迹规划（WorldNav）规划带有障碍物感知的相机移动路径。
   • 世界扩展（WorldStereo 2.0）生成世界的关键帧。
   • 世界合成（WorldMirror 2.0 + 3DGS 学习）组装最终的 3D 表示。
2. 世界重建：使用 WorldMirror 2.0，一种前馈模型，可在单次前向传播中从多视角图像或视频预测深度、表面法线、相机参数、3D 点云和 3DGS 属性。

适用人群

专为需要可导航、物理兼容的 3D 环境而非简单视频片段的 3D 场景生成、数字孪生创建和游戏开发领域的研究人员和开发者设计。

主要亮点

• 真实 3D 资产：生成 3DGS 和网格而非平面视频，支持在消费级 GPU 上实时渲染。
• 即时重建：使用统一的前馈模型，从日常视频或照片快速生成数字孪生。
• 交互式探索：支持在生成的世界中进行第一人称和第三人称导航，并具备基于物理的碰撞检测。
• 引擎兼容性：资产可直接导入 Blender、Unity、Unreal Engine 和 Isaac Sim。