AlayaLab/AlayaWorld

解决的问题

AlayaWorld 解决了生成长时序、一致性的可交互、可播放视频的挑战。它解决了在长时间视频生成过程中通常会累积的“漂移”和视觉伪影问题，确保重新访问的位置依然可识别，环境在长达数分钟的序列中保持稳定。

工作原理

AlayaWorld 是一种自回归世界模型，通过结合空间记忆和时间记忆来维持一致性。它使用 3D 缓存进行空间回溯（投影到当前视角），并使用压缩的帧历史嵌入来保证时间连续性。为防止误差累积，它采用“误差银行”机制，将伪影重新注入训练过程。为实现实时性能，使用少步数 DMD 蒸馏来减少生成所需步数，从而在块边界实现实时相机控制和提示切换。

适用人群

本项目专为从事视频生成、世界模型和交互式 AI 环境的研究人员和开发者设计。

主要亮点

• 交互控制：支持通过键盘进行实时相机导航和生成过程中的提示切换。
• 长时序稳定性：通过专用记忆系统和误差注入训练，保持长达数分钟视频的视觉一致性。
• 实时性能：通过 DMD 蒸馏和短时间块实现低延迟交互。
• 完整流水线：提供完整的训练与推理代码，包含多个阶段的预训练和 SFT。