thu-ml/Causal-Forcing

它解决了什么问题

Causal Forcing 和 Causal Forcing++ 解决了生成高质量、实时交互式视频的挑战。它们在先前的自回归（AR）扩散模型基础上进行了改进，提升了视觉质量和运动动态，同时保持了推理效率和训练预算。

它如何工作

该项目采用多阶段训练流程，为非对称分布匹配蒸馏（DMD）创建理论正确的初始化：

1. 第一阶段：AR 扩散训练：建立基础的自回归扩散模型。
2. 第二阶段：初始化：使用 Causal ODE（Causal Forcing）或 Causal Consistency Distillation（Causal Forcing++）。后者通过仅使用真实数据，消除了耗时的 ODE 数据整理需求。
3. 第三阶段：非对称 DMD：最终阶段，生成用于生成的少步模型。

它支持分块模型和帧级模型，其中帧级方法原生统一了文本到视频（T2V）和图像到视频（I2V）生成。

适用人群

从事视频生成、世界模型和实时交互式视频系统研究与开发的研究人员和开发者，他们需要高质量的运动表现和低延迟推理。

亮点

• 极致高效：提供 1 步和 2 步帧级模型，实现极低延迟。
• 统一生成：帧级模型原生支持 T2V 和 I2V。
• 可扩展性：兼容扩展技术如 Rolling Forcing，可用于生成分钟级长视频。
• 产业应用：已被用作多个 SOTA 视频世界模型的基础，包括 DreamX-World 1.0 和 Zing-0.5。