Tencent-Hunyuan/HY-World-2.0

何を解決するか

HY-World 2.0 は、動画ベースのワールドモデルの限界に対処しています。従来のモデルは編集不可能なピクセル動画を生成し、再生後に消えてしまうという問題があります。一方、HY-World 2.0 は、Unity、Unreal Engine、Blender などのゲームエンジンに統合可能な、永続的で編集可能な 3D アセット（メッシュ、Gaussian Splattings、点群）を生成します。これにより、無制限の再生時間とネイティブな 3D の一貫性が実現されます。

仕組み

このフレームワークは、主に以下の2つの機能を提供します：

1. ワールド生成：テキストまたは単一の画像から 3D ワールドを生成する4段階パイプラインを使用します。
   • パノラマ生成（HY-Pano 2.0）：360°のビューを生成します。
   • トラジェクトリ計画（WorldNav）：障害物を認識しながらカメラの移動を計画します。
   • ワールド拡張（WorldStereo 2.0）：ワールドのキーフレームを生成します。
   • ワールド構成（WorldMirror 2.0 + 3DGS 学習）：最終的な 3D 表現を構成します。
2. ワールド再構築：WorldMirror 2.0 は、一回の順伝播でマルチビュー画像または動画から深度、表面法線、カメラパラメータ、3D 点群、3DGS 属性を予測するフィードフォワードモデルです。

対象ユーザー

3Dシーン生成、デジタルツイン作成、ゲーム開発に従事する研究者や開発者向けです。単なる動画クリップではなく、ナビゲート可能で物理的に整合した 3D 環境が必要な方々に最適です。

特徴

• 本物の 3D アセット：平面的な動画ではなく、3DGS とメッシュを生成し、コンシューマー GPU でリアルタイムレンダリングが可能になります。
• 即時再構築：統一されたフィードフォワードモデルを使用して、カジュアルな動画や写真からデジタルツインを生成できます。
• インタラクティブな探索：生成されたワールド内で、ファーストパーソンおよびサードパーソンのナビゲーションが可能で、物理ベースの衝突検出もサポートしています。
• エンジン互換性：Blender、Unity、Unreal Engine、Isaac Sim に直接インポート可能なアセットを提供します。