AlayaLab/AlayaWorld

解決的問題

AlayaWorld 解決了生成長時序、一致性的可互動、可播放影片的挑戰。它解決了在長時間影片生成過程中通常會累積的「漂移」與視覺偽影問題，確保重新造訪的位置仍可辨識，環境在數分鐘的序列中保持穩定。

工作原理

AlayaWorld 是一種自回歸世界模型，透過結合空間記憶與時間記憶來維持一致性。它使用 3D 快取進行空間回溯（投影至當前視角），並使用壓縮的畫格歷史嵌入來確保時間連續性。為防止誤差累積，它採用「誤差銀行」機制，將偽影重新注入訓練過程。為實現即時性能，使用少步數 DMD 蒸餾來減少生成所需步數，進而可在區塊邊界實現即時相機控制與提示切換。

適用對象

本專案專為從事影片生成、世界模型與互動式 AI 環境的研究人員與開發者設計。

主要亮點

• 互動控制：支援透過鍵盤進行即時相機導航與生成過程中的提示切換。
• 長時序穩定性：透過專用記憶系統與誤差注入訓練，維持數分鐘影片的視覺一致性。
• 即時性能：透過 DMD 蒸餾與短時間區塊實現低延遲互動。
• 完整流程：提供完整的訓練與推論程式碼，包含多階段的預訓練與 SFT。