AMAP-ML/DreamX-World

解決的問題

DreamX-World 是一個通用的互動式世界模型，能生成高保真、可控制的模擬環境，讓使用者可透過事件提示探索與轉變環境。它解決了長期影片生成中常見的身份、背景與風格漂移問題，同時實現對相機移動與環境變化的精確控制。

工作原理

該模型使用可擴展的資料引擎進行訓練，結合 Unreal Engine 資料、遊戲實錄影片與真實世界影片，並輔以相機估計。採用漸進式訓練流程：首先學習細粒度的動作控制，接著學習開放式事件回應，最後透過強化學習提升視覺保真度與互動一致性。為在重新造訪區域時保持場景持續性，模型使用幾何引導的記憶檢索來恢復先前觀察到的視覺證據。為提高效率，模型採用強制（forcing）與蒸餾（distillation）技術，使互動式生成成為可能。

適用對象

本專案專為從事世界模型、互動式AI模擬以及遊戲、虛擬環境與機器人模擬等領域高保真影片生成的研究人員與開發者設計。

主要亮點

• 互動式探索：支援第一人稱與連貫的第三人稱視角，具備穩定的相機追蹤行為。
• 長時程生成：能夠生成長達1分鐘且無明顯視覺漂移的連貫影片。
• 可提示事件：允許使用者觸發單一或複合事件，動態改變環境。
• 場景持續性：使用幾何引導記憶，確保重訪區域的佈局與物件身分保持一致。
• 多樣化環境：可生成從現實城市與自然場景到風格化科幻與奇幻世界的廣泛環境。