madebyollin/taehv

🥮 ハンユアン動画用のミニマム自動符号化器 (TAEHV)

何であるか – TAEHV は、Hunyuan Video、MiniMax-H3、Wan-Video、CogVideoX、Open-Sora、LTX-2 など、多くのモデルに同梱されるオリジナルのフルサイズ VAE と比べて、圧縮された動画フレームを潜在表現に変換し、その潜在表現を高速かつ極めて少ない GPU メモリで動画に復元できるコンパクトな自動符号化器です。

なぜ重要か – フルサイズの動画 VAE は通常、6〜9 GB の GPU メモリと数秒（例：512×320 の 61 フレーム）を必要とします。TAEHV は NVIDIA GH200 でそれを <0.5 GB と ≈0.5 秒 にまで削減し、リアルタイムプレビュー、インタラクティブ生成、ライブストリーミング処理を可能にします。

対応する動画モデル

モデル	ロードするウェイトタグ	例のノートブック
MiniMax H3	`taeh3`	–
Hunyuan Video 1.5	`taehv1_5`（より高品質の場合は `taehv1_5_super`）	`TAEHV1.5_Encoding_Decoding_Demo.ipynb`
Wan 2.1	`taew2_1`	–
Wan 2.2 5B	`taew2_2`（または `taew2_2_super`）	`TAEW2.2_T2I_Demo.ipynb`
Wan 2.2 14B	`taew2_1`（Wan 2.1 VAE を使用）	–
Qwen Image	`taew2_1`	–
CogVideoX	`taecvx`	`TAECVX_T2I_Demo.ipynb`
Hunyuan Video 1	`taehv`	`TAEHV_T2I_Demo.ipynb`
Open-Sora 1.3	`taeos1_3`	–
LTX-2	`taeltx_2`	`TAELTX2_Encoding_Decoding_Demo.ipynb`
LTX-2.3 / 2.5	`taeltx2_3`（ぼやけを抑えるには `taeltx2_3_wide`）	–
Mochi 1 & SVD	併用リポジトリ TAEM1 および TAESDV を参照

リポジトリのルートに .pth 重みファイルが含まれており、./safetensors フォルダには同等の .safetensors ファイルがあります。TAEHV はチェックポイント名から自動的に正しいアーキテクチャを選択します。ファイル名を変更する場合は、arch_name= を手動で指定できます。

使い方

from taehv import TAEHV

# チェックポイントをロード（例：Hunyuan-Video-1.5）
vae = TAEHV("taehv1_5.pth")

# 動画テンソルをエンコード（N, C, T, H, W）→ 潜在表現
latents = vae.encode_video(video_tensor)

# 潜在表現を動画に復元
decoded = vae.decode_video(latents)

高速化テクニック – アップスケーリングを無効化：

vae = TAEHV(decoder_time_upscale=(False, False),
            decoder_space_upscale=(False, False, False))

並列復元 – decode_video に parallel=True を設定すると、すべてのフレームを一度に処理（より多くのメモリが必要）。
ストリーミング – ライブ処理やステップごとの処理には StreamingTAEHV ラッパーを使用。復元されたフレームがすぐに生成されます。ストリーミングデモ ノートブックを参照。
Diffusers 統合 – 値範囲（[0,1] 対 [-1,1]）やテンソルレイアウト（NTCHW 対 NCTHW）の違いに対応する小さなラッパーが用意されています（TAEW2.1_Diffusers_Encoding_and_Decoding_Demo.ipynb を参照）。

位置

ComfyUI – メインブランチ（PR #10884）でネイティブ対応、コミュニティノード：ComfyUI-WanVideoWrapper、ComfyUI-VideoHelperSuite、ComfyUI-Bleh。
stable-diffusion.cpp – PR #937 で追加。
SDNext – vladmandic によって統合。
Wan-Video Self-Forcing デモ – 公式 Wan 2.1 デモで使用。

他の場所への対応を追加した場合、作者はプルリクエストを歓迎します。

制限事項

品質の妥協 – TAEHV は高速かつ軽量ですが、オリジナルの VAE ほどの視覚的精細度には達しません。作者はベンチマーク（MoViRec）と並べて比較した画像を提供しています。
スーパーウェイト – 一部のモデルにはより高品質なバージョン（*_super）が存在し、多少の計算量とメモリ使用量が増加します。

セットアップリソース

プロファイリングノートブック – examples/TAEHV_Profiling.ipynb（実行時間とメモリ使用量）。
デモノートブック – *_Demo.ipynb ファイル群。テキストから動画生成、エンコード/デコード、ストリーミング、Diffusers 使用を紹介。
モデル重み – リポジトリのルートまたは safetensors/ フォルダからダウンロード。
引用 – 学術利用向けに貼り付け可能な BibTeX エントリが提供されています。

TL;DR

TAEHV は、中国およびオープンソースの動画拡散モデルの増加するリストに対して、即座に使える軽量な VAE 代替品です。デコード時間を秒単位からサブ秒に、メモリ使用量を約 8 GB から <0.5 GB に削減し、リアルタイムプレビューとインタラクティブな動画生成を可能にします。品質のわずかな低下が伴いますが、オプションの「スーパーチェックポイント」で軽減可能です。