OpenVDN/vdn-minimax-h3

VDN‑Minimax‑H3 とは何か？

VDN‑H3（MiniMax H3 上の Video DeltaNet）は、MiniMax H3 のバックボーンに基づく ハイブリッドアテンション動画拡散モデル です。軽量な線形アテンションブランチといくつかの LoRA アダプタを追加することで、14秒、768p の動画をリアルタイムより高速に生成しつつ、視覚的品質を元の密なモデルに近づけています。

主なアイデア

アイデア	なぜ重要か
ハイブリッドアーキテクチャ	一方のブランチは高速性のため安価な線形アテンションを使用し、もう一方は品質と時間的一貫性のためフルのソフトマックスアテンションブランチを維持しています。
プラグアンドプレイ型 LoRA アダプタ	追加の線形ブランチと2つの小さな LoRA モジュールは推論時にマージされ、元の MiniMax 重みは変更されません。
FP8 推論 + FlashAttention‑4	混合精度（FP8）と最新の FlashAttention カーネルにより、現代の NVIDIA H200/B200 GPU で最大 3×〜5× の高速化が実現します。
オープンソーススタック	最適化された推論コードと完全な学習レシピが公開されており、誰でもモデルを再現または微調整できます。

はじめ方（クイックスタート）

クローン & conda 環境作成（Python 3.12、PyTorch 2.13+CUDA 12.9）。uv パッケージマネージャをインストールし、uv pip install -e . を実行してすべての依存関係（包括的にプレリリース版の flash‑attn‑4 を含む）を取得します。
Diffusers のパッチ適用 – ヘルパースクリプト（scripts/setup_diffusers.sh）が HuggingFace Diffusers ライブラリに必要な変更を適用します。
重みのダウンロード（約 82 GB）は HuggingFace CLI で行います：
```
hf download OpenVDN/vdn-minimax-h3 --local-dir ckpts
```
このディレクトリには MiniMax‑H3 のベースモデル（約 72 GB）と2つの VDN‑H3 チェックポイント（それぞれ約 4〜5 GB）が含まれます。
単一GPUでのテスト実行：
```
bash scripts/inference/8nfe_tuned_fp8.sh
```
スクリプトは初回実行時に Flash カーネルをコンパイルし、8GPUの B200 ノードでは約11秒で8ステップのノイズ除去を実行（または単一B200では約6秒）します。
独自のプロンプトをレンダリング – Qwen3‑VL‑32B VLM でテキストプロンプトをエンコードし、推論スクリプトを呼び出します：
```
python src/inference/encode_prompt.py --prompt "..." --out prompts/mine.pt
python src/inference/infer.py \
  --config configs/inference/8nfe_tuned_fp8.yaml \
  checkpoint=ckpts/stage-dmd-step-250 \
  render.prompt_file=prompts/mine.pt \
  render.out=results/mine.mp4
```
（README では、最高の品質を得るために MiniMax‑H3‑Context‑IR でプロンプトを再書き換えすることを推奨しています。）

性能数値（安定状態のノイズ除去、768p、14.4秒の動画）

GPU 型	#GPU	NFE あたりの秒数	50ステップ VDN‑H3（約9分）	8ステップ VDN‑H3
H200	1	11.2	9.4 分	90.5 秒
H200	8	2.29	1.9 分	18.3 秒
B200	1	6.41	5.3 分	51 秒
B200	8	1.40	1.2 分	11.23 秒

（これらのタイミングはモデル読み込み、ウォームアップ、VAEデコード、MP4エンコードを除いています。）

学習パイプライン

VDN‑H3 は、固定された MiniMax‑H3 トランスフォーマーの上に 4段階で学習されています：

ステージ	学習対象	ステップ数
A1	線形アテンションブランチ（レイヤー単位のアライメント）	200
A2	同じブランチ、エンドツーエンドのファインチューニング	500
B	QKV/O 投影への LoRA アダプタ + 線形ブランチ	2000
DMD	8ステップ「ターボ」LoRA（データフリー、コミュニティLoRAから初期化）	250

学習スクリプトは src/training/ と scripts/training/ にあります。データは MiniMax‑H3 形式に従って事前にエンコードされた潜在変数（動画、音声、テキスト）である必要があります。video_index.jsonl が各クリップの動画潜在変数ファイルを指します。

ライセンスとクレジット

コード – Apache 2.0（LICENSE を参照）。
モデル重み – HuggingFace 上で別途配布され、MiniMax H3 Community License（Apache 2.0 には含まれません）の下で提供されます。
本研究を引用する際は、提供された BibTeX エントリを使用してください。

TL;DR

VDN‑Minimax‑H3 は、MiniMax H3 に高速な線形アテンションブランチと小さな LoRA アダプタを追加したオープンソースのハイブリッドアテンション動画拡散モデルであり、高解像度動画のニアリアルタイム生成を実現しています（例：単一 B200 GPU で14秒のクリップを約11秒で生成）。リポジトリには単一GPUまたは8GPUクラスタでの推論実行に必要なすべてのものが含まれており、モデルの再現に必要な完全な学習レシピも提供されています。