shengshu-ai/minWM

解决的问题

minWM 是一个全栈框架，旨在协助研究人员与开发者将标准文本转视频 (T2V) 基础模型转型为实时、具备动作条件的视频世界模型。它通过提供从数据准备到训练与推理的完整开源路径，免除了用户自行逆向工程复杂管线的需求。

运作原理

该框架实现了一个四阶段管线，将双向扩散模型转化为 4 步自回归 (AR) 学生模型，以实现实时性能：

1. 数据准备：将原始视频与摄像机轨迹 (姿势) 处理为可训练的潜在空间数据。
2. 双向 SFT：对基础模型进行初步的监督式微调。
3. 蒸馏：包含教师强制 (Teacher Forcing) AR 扩散、因果 ODE/CD 蒸馏以及具备自我展开 (self-rollout) 的非对称 DMD 的多阶段过程。
4. 推理：使用 4 步 DMD 推理，并支持通过姿势字符串 (例如 "a4,w8") 或 JSON 文件进行摄像机轨迹控制。

它支持多种骨干模型，包括 Wan 2.1 与 HunyuanVideo 1.5，并使用统一的训练器与数据集抽象化。

目标对象

主要针对研究生、独立研究人员以及刚进入世界模型领域的初级实验室，他们需要的是一个结构化、可执行的框架，而非单一模型。

特色亮点

• 全栈管线：开源了从数据 $\rightarrow$ 训练 $\rightarrow$ 推理的完整流程。
• 多骨干支持：兼容于 Wan 2.1 与 HunyuanVideo 1.5 架构。
• LLM 辅助调试：包含 "Claude Skills"，协助用户诊断训练失败 (如 loss NaN 或摄像机漂移) 并整合新的骨干模型。
• 实时性能：将模型蒸馏至 4 步推理，实现交互式视频生成。