AlayaLab/AlayaWorld

AlayaWorld – 可游玩的长期视频生成

功能 – AlayaWorld 是一个研究级视频世界模型，可从单张起始图像、相机轨迹和文本提示生成数分钟长、3D 一致的视频。它支持实时交互：您可以在视频生成时使用键盘转向虚拟相机并更改提示。

重要性 – 大多数视频生成模型要么生成短片，要么随时间失去空间一致性。AlayaWorld 同时解决了三个难题：

• 交互 – 轻量级基于 AdaLN 的相机控制器让您即时移动视角。
• 一致性 – 3D 缓存加上压缩的帧历史嵌入，确保在长序列中重新访问的位置保持可识别。
• 稳定性 – 对漂移历史的训练和错误银行机制防止视觉伪影在分钟级序列中累积。
• 运行时 – 蒸馏的少步 DMD 学生模型实时运行，实现可游玩体验。

关键组件

组件	角色	显著技术
世界模型核心 (alaya/)	配置、数据处理、记忆结构、训练器逻辑	自回归 (AR) + 蒸馏运动扩散 (DMD) 管线
LTX‑2.3 栈 (ltx2/)	基础 Transformer、VAE、文本编码器	DiT 风格 Transformer、Gemma‑3 文本编码器
Depth‑Anything‑3 (DA3)	为 AR 路径提供深度感知空间记忆	外部存储库，通过 third_party/Depth-Anything-3 集成
ViGeo	v1.1 版本中使用的空间记忆骨干	预训练检查点 ViGeo1.1
Reactor (reactor/)	将模型作为实时浏览器流提供，您可以在其中移动相机和切换提示	基于 Docker 的服务器
训练阶段	阶段 0：缓存创建，阶段 1：双向预训练，阶段 2a：历史编码器，阶段 2b：AR 微调，阶段 3：DMD 蒸馏	单一统一启动器 (scripts/finetune/train.sh)

如何使用

1. 安装 – 一个 Python 环境（在 PyTorch 2.7.1 + CUDA 12.8 上测试）。克隆 DA3 存储库并以可编辑模式安装。
2. 下载权重 – 主要推理包 (merged_infer.safetensors) 和阶段特定检查点托管在 Hugging Face 上（链接在 README 中）。
3. 运行推理 – 提供四个入口点：
   • 案例演示 (DA3) – 实时可游玩流 (inference/run.sh)。
   • AR 教师 – 30 步自回归生成，具有完整空间记忆。
   • DMD 学生 – 4 步蒸馏生成（快速、实时）。
   • 双向 I2V – 无相机轨迹的图像到视频生成。
4. 使用浏览器演示 – 构建 reactor Docker 镜像并启动 reactor run；打开 UI 以在模型流式生成视频时转向相机和交换提示。
5. 训练 – 按照 configs/ 中的阶段脚本和 docs/vigeo/ 中的手册操作。部分训练数据也可在 Hugging Face 上获取。

发布内容

• 所有四条路径的完整推理代码。
• AR 教师、DMD 学生和共享阶段 1 双向 Transformer 的预训练权重。
• 部分训练数据集和完整训练手册。
• 交互式浏览器演示 (reactor)。

许可证 – 代码和权重在 LTX-2 社区许可证（非商业、仅学术使用）下发布。第三方模型（Gemma‑3、Depth‑Anything‑3）必须根据其自身许可证获取。

背后团队 – Alaya Lab（核心负责人 Kaipeng Zhang 和 Chuanhao Li）以及研究人员和工程师团队。

---

有关更多详细信息，请参阅 README 中链接的项目页面、三份 arXiv 报告和 Hugging Face 模型卡。