OpenVDN/vdn-minimax-h3

解決する課題

動画生成モデルは、推論速度が遅いという課題を抱えることがよくあります。VDN-H3 は、動画の再生速度よりも速い生成を可能にすることでこの問題に対処し、同時にほぼ無損失の視覚品質と一貫性を維持します。

仕組み

VDN-H3 は、MiniMax H3 バックボーンに基づくハイブリッド・アテンション・アーキテクチャを採用しています。視覚品質を維持する softmax 分岐と並行して、非常に効率的なフレーム単位の線形アテンション分岐を導入しています。これはプラグアンドプレイ方式で実装されており、独立した線形アテンション分岐と2つの小さな LoRA アダプターを使用します。これらは推論中に元の重みを変更することなくバックボーンにマージ可能です。

対象ユーザー

データセンター向け GPU (B200/H200 など) およびコンシューマー向け GPU (FreeVideo 統合経由) の両方で高性能な推論を必要とする、動画生成モデルの開発者や研究者。

ハイライト

• 高速推論: 8x B200 GPU 上で、14.4 秒のクリップをエンドツーエンドで約 9 秒で生成可能。
• 多様な生成モード: テキストから動画 (T2VA)、画像から動画 (I2VA)、最初と最後のフレームから動画 (FL2VA)、および参照画像から動画 (Ref2VA-like) のタスクをサポート。
• プラグアンドプレイ・アーキテクチャ: バックボーンにマージ可能な LoRA アダプターと線形アテンション分岐を使用。
• オープンソース・スタック: 重み、最適化された推論コード、トレーニングレシピへの完全なアクセスを提供。