Tencent-Hunyuan/HY-WorldPlay

解决的问题

HY-World 1.5（WorldPlay）解决了交互式世界建模中生成速度与内存之间的权衡问题。它解决了在保持长期几何一致性的同时，实现实时交互的沉浸式3D世界生成问题，避免了长时程视频生成中常见的“记忆衰减”或漂移现象。

工作原理

WorldPlay 是一种流式视频扩散模型，通过多种关键架构设计实现其目标：

• 双动作表示：通过键盘和鼠标输入实现对世界的稳健控制。
• 重构的上下文记忆：从历史帧动态重建上下文，并使用时间重帧技术，确保几何重要帧始终可访问。
• WorldCompass：一种强化学习（RL）后训练框架，可提升动作跟随性和视觉质量。
• 上下文强制：一种蒸馏方法，使教师模型与学生模型之间的记忆上下文对齐，从而在无误差漂移的情况下实现实时速度。

系统以16帧为单位生成视频，基于用户动作和重构的记忆预测下一帧块。

适用人群

本项目适用于从事3D世界建模、交互式AI环境、实时视频生成的研究人员和开发者，以及对真实或风格化环境中第一人称和第三人称视角模拟感兴趣的人群。

主要亮点

• 实时性能：以24 FPS生成长时程流式视频。
• 完整框架：开源整个流程，包括数据、训练、RL后训练和推理部署。
• 灵活控制：支持通过姿态字符串（例如 w-31 表示前进）实现直观的相机轨迹控制。
• 多种模型选项：提供双向、自回归和蒸馏模型，以适应不同速度与质量的权衡。