Tencent-Hunyuan/HY-WorldPlay

解決的問題

HY-World 1.5（WorldPlay）解決了互動式世界建模中生成速度與記憶體之間的權衡問題。它解決了在維持長期幾何一致性的情況下，實時互動的沉浸式3D世界生成問題，避免了長時程影片生成中常見的「記憶衰減」或漂移現象。

工作原理

WorldPlay 是一種串流式影片擴散模型，透過多項關鍵架構設計達成其目標：

• 雙重動作表示：透過鍵盤與滑鼠輸入，實現對世界的穩健控制。
• 重構的上下文記憶：動態從過去畫格重建上下文，並使用時間重框架技術，確保幾何重要畫格始終可存取。
• WorldCompass：一種強化學習（RL）後訓練框架，可提升動作追蹤與視覺品質。
• 上下文強制：一種蒸餾方法，使教師模型與學生模型之間的記憶上下文對齊，進而實現無誤差漂移的即時速度。

系統以 16 幀為單位生成影片，根據使用者動作與重構的記憶預測下一塊。

適用對象

本專案適用於從事 3D 世界建模、互動式 AI 環境、即時影片生成的研究人員與開發者，以及對真實或風格化環境中第一人稱與第三人稱視角模擬感興趣的人群。

主要亮點

• 即時性能：以 24 FPS 生成長時程串流影片。
• 完整框架：開源整個流程，包含資料、訓練、RL 後訓練與推論部署。
• 靈活控制：支援透過姿態字串（例如 w-31 表示前進）實現直覺的相機軌跡控制。
• 多種模型選項：提供雙向、自回歸與蒸餾模型，以適應不同速度與品質的權衡。