Tencent-Hunyuan/HY-WorldPlay

何を解決するか

HY-World 1.5 (WorldPlay) は、インタラクティブな世界モデリングにおける生成速度とメモリのトレードオフを解決します。リアルタイムでインタラクション可能な没入型の3D世界を構築しつつ、長期的な幾何学的一貫性を維持する問題を解決し、長時間の動画生成でよく見られる「メモリの劣化」やドリフトを回避します。

仕組み

WorldPlay は、複数の重要なアーキテクチャ設計を用いて目的を達成するストリーミング動画拡散モデルです：

• 二重アクション表現：キーボードおよびマウス入力による世界の堅牢な制御を可能にします。
• 再構成されたコンテキストメモリ：過去のフレームからコンテキストを動的に再構成し、時間的再フレーミングを用いて幾何学的に重要なフレームを常にアクセス可能にします。
• WorldCompass：強化学習（RL）を用いたポストトレーニングフレームワークで、アクション追従性と視覚品質を向上させます。
• コンテキスト強制：教師モデルと生徒モデル間のメモリコンテキストを一致させる蒸留手法であり、エラーのドリフトなしにリアルタイム速度を実現します。

システムは16フレームのチャンク単位で動画を生成し、ユーザーのアクションと再構成されたメモリに基づいて次のチャンクを予測します。

対象ユーザー

本プロジェクトは、3D世界モデリング、インタラクティブAI環境、リアルタイム動画生成に取り組む研究者や開発者、またリアルおよびスタイル化された環境における1人称・3人称視点シミュレーションに興味を持つ人々を対象としています。

主な特徴

• リアルタイムパフォーマンス：24 FPSで長時間のストリーミング動画を生成可能。
• 包括的なフレームワーク：データ、トレーニング、RLポストトレーニング、推論デプロイメントを含む、パイプライン全体をオープンソース化。
• 柔軟な制御：ポーズ文字列（例：w-31 で前進）による直感的なカメラ軌道制御をサポート。
• 複数のモデルオプション：異なる速度と品質のトレードオフに対応する双方向型、自己回帰型、蒸留型モデルを提供。