Tencent-Hunyuan/HY-World-2.0

解決的問題

HY-World 2.0 解決了基於影片的世界模型的限制，這些模型產生的不可編輯像素影片在播放後即消失。相反，它生成持久且可編輯的 3D 資產（網格、Gaussian Splattings 和點群），可整合至 Unity、Unreal Engine 和 Blender 等遊戲引擎中，實現無限播放時長與原生 3D 一致性。

工作原理

此框架提供兩種主要功能：

1. 世界生成：透過四階段流程，將文字或單張影像轉換為 3D 世界：
   • 全景生成（HY-Pano 2.0）建立 360° 視角。
   • 軌跡規劃（WorldNav）規劃具障礙物感知的相機移動路徑。
   • 世界擴展（WorldStereo 2.0）產生世界的關鍵幀。
   • 世界組合（WorldMirror 2.0 + 3DGS 學習）組裝最終的 3D 表示。
2. 世界重建：使用 WorldMirror 2.0，一種前向傳播模型，可在單次前向傳播中，從多視角影像或影片預測深度、表面法線、相機參數、3D 點群與 3DGS 屬性。

適用對象

專為需要可導航、物理相容的 3D 環境而非簡單影片片段的 3D 場景生成、數位雙生建置與遊戲開發領域的研究人員與開發者設計。

主要亮點

• 真實 3D 資產：生成 3DGS 與網格，而非平面影片，支援在消費級 GPU 上即時渲染。
• 即時重建：使用統一的前向傳播模型，從日常影片或照片快速生成數位雙生。
• 互動式探索：支援在生成的世界中進行第一人稱與第三人稱導航，並具備基於物理的碰撞檢測。
• 引擎相容性：資產可直接匯入 Blender、Unity、Unreal Engine 與 Isaac Sim。