MeiGen-AI/OPSD-V

解決する課題

OPSD-V は、数ステップの自己回帰 (AR) ビデオ生成器における誤差蓄積と動作ダイナミクスの低下という問題に対処します。これらのモデルでは、生成されたチャンク内の小さなアーティファクトや意味的なドリフトが KV cache に書き戻され、後続のすべてのチャンクに影響を与えるため、長時間の生成において視覚品質の低下や動作の不安定さを引き起こします。

仕組み

学習後のオンポリシー自己蒸留パラダイムを使用します。学習中、「学生」モデルは実際のデプロイメントロールアウトを実行し、チャンクを生成して自身の KV cache を更新します。同時に、「教師」モデルは学生と同じノイズ状態において評価されますが、実際の長いビデオコンテキストから導出された、よりクリーンで AR と整合性の取れた時間的キャッシュが提供されます。学生の速度予測を教師の予測と一致させることで、モデルは元の数ステップのサンプラーや推論時のキャッシュメカニズムを変更することなく、軌道を修正する方法を学習します。

対象読者

自己回帰ビデオ生成に取り組む研究者や開発者、特に数ステップの拡散モデルの長期的な安定性と動作品質を向上させたい方。

ハイライト

• オンポリシーの学生ロールアウト: 学生は推論時に使用する正確な軌道に従います。
• よりクリーンな教師コンテキスト: 実際のビデオ履歴を使用して、高品質な教師信号を提供します。
• 推論パスの維持: 元の 4-step AR サンプラーを維持し、レイテンシの増加を防ぎます。
• メモリ効率の高い学習: チャンクごとのバックワードパス、FSDP、LoRA を採用し、長いビデオのロールアウトを計算的に実行可能にします。