MeiGen-AI/OPSD-V

On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators

解决的问题

OPSD-V 解决了少步自回归 (AR) 视频生成器中误差累积和运动动力学减弱的问题。在这些模型中,一个生成的片段中的微小伪影或语义漂移会被写回 KV cache 并影响所有后续片段,导致视觉质量下降和长视距下的运动不稳定。

运作原理

它使用了一种用于训练后的在线策略自我蒸馏范式。在训练过程中,“学生”模型执行实际的部署展开,生成片段并更新其自身的 KV cache。同时,“教师”模型在与学生相同的噪声状态下进行评估,但被提供了一个源自真实长视频上下文的、更干净且 AR 一致的时间缓存。通过将学生的速度预测与教师的预测进行匹配,模型学会了在不改变原始少步采样器或推理时缓存机制的情况下修正其轨迹。

适用对象

致力于自回归视频生成的研究人员和开发人员,特别是那些希望改善少步扩散模型长期稳定性和运动质量的人。

亮点

  • 在线策略学生展开 (On-policy student rollout):学生遵循其在推理过程中将使用的确切轨迹。
  • 更干净的教师上下文:使用真实视频历史来提供高质量的监督目标。
  • 保留推理路径:维持原始的 4-step AR 采样器,确保延迟不会增加。
  • 内存高效训练:采用分块反向传播、FSDP 和 LoRA,使长视频展开在计算上可行。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目