AMAP-ML/DreamX-Creator

解決的問題

DreamX-Creator 解決了同時生成高解析度影片與同步音訊的挑戰。它克服了視覺與聽覺串流之間的錯位問題，以及聯合生成框架中缺乏原生 2K 解析度的缺憾。

工作原理

該系統使用一個基礎生成器，共同建模專用的影片與音訊串流。它採用門控跨模態注意力（Gated Cross-Modal Attention）與漸進式聯合訓練，實現音訊與影片之間的雙向互動。為提升品質，系統整合了音訊-影片強化學習與模態感知多模態回饋，以增強語意一致性與同步性。最後，一個自回歸 1 步 2K 修復器在保持原始內容與時間的同時，將輸出提升至 2K 解析度。

適用對象

此框架專為從事原生多模態生成的研究人員與開發者設計，特別適合需要在高解析度下生成同步音影片內容的使用者。

主要亮點

• 原生聯合生成：同時建模音訊與影片串流，而非順序生成。
• 雙向互動：使用門控跨模態注意力確保音影片同步。
• 高解析度：包含專用的 1 步修復器，將影片上採樣至 2K 解析度。
• 強化學習增強：利用強化學習與多模態回饋優化視覺與音訊品質。