QuanjianSong/FashionChameleon

解決する課題

FashionChameleonは、動画生成におけるリアルタイムかつインタラクティブな人体・衣服カスタマイズの課題に対処します。動画内の人物の衣服を、高品質かつ一貫性を保ったまま切り替えることが可能で、従来のカスタマイズ手法よりも大幅に高速な処理を実現しています。

仕組み

Wan2.2-TI2V-5Bモデルをベースに構築されたこのフレームワークは、主に3つの技術コンポーネントを採用しています。

1. In-Context Learning Teacher: 調整された画像から動画への変換 (I2V) 事前知識と、不一致な参照衣服ペアを使用して学習された教師モデルで、衣服の切り替えを処理します。
2. Streaming Distillation: コンテキスト学習とGradient-Reweighted DMD (Distribution Matching Distillation) アプローチを使用します。この手法は、報酬モデルを使用して自己回帰プロセス中に勾配を動的に再重み付けし、シーケンスの後続フレームの品質と一貫性を維持します。
3. KV-Cache Rescheduling: 特定の着せ替え訓練データを必要とせずに、生成プロセス中にインタラクティブな複数衣服のカスタマイズを可能にする、学習不要のメカニズムです。

対象ユーザー

このプロジェクトは、AI駆動のファッション、バーチャル試着、リアルタイム動画合成に取り組む研究者や開発者向けに設計されています。

ハイライト

• リアルタイム性能: 単一のH200 GPU上で、720p動画を23.8 FPSで生成します。
• インタラクティブなカスタマイズ: 動画生成中にその場で衣服を切り替えることをサポートします。
• 一貫性の向上: 勾配の再重み付けを使用して、外挿フレームにおける品質低下を防ぎます。
• 高効率: 既存のカスタマイズ手法と比較して30倍から180倍高速であると主張しています。