QuanjianSong/FashionChameleon

解决的问题

FashionChameleon 解决了视频生成中实时、交互式人体服装定制的挑战。它允许在视频中切换人物的服装，同时保持高质量与一致性，其速度显著快于以往的定制方法。

运作原理

该框架基于 Wan2.2-TI2V-5B 模型构建，采用了三个主要的技术组件：

1. In-Context Learning Teacher：一个使用量身定制的图像转视频 (I2V) 先验知识与不匹配的参考服装对进行训练的教师模型，用于处理服装切换。
2. Streaming Distillation：使用上下文学习与 Gradient-Reweighted DMD (Distribution Matching Distillation) 方法。此方法利用奖励模型在自我滚动过程中动态重新加权梯度，确保序列中的后续帧保持质量与一致性。
3. KV-Cache Rescheduling：一种无需训练的机制，可在生成过程中实现交互式多服装定制，而无需特定的人物换装训练数据。

适用对象

此项目专为从事 AI 驱动时尚、虚拟试穿与实时视频合成的研究人员与开发者设计。

亮点

• 实时性能：在单个 H200 GPU 上以 23.8 FPS 的速度生成 720p 视频。
• 交互式定制：支持在视频生成过程中即时切换服装。
• 提升一致性：使用梯度重新加权技术，防止外推帧中的质量下降。
• 高效率：声称比现有的定制方法快 30 到 180 倍。