Tencent-Hunyuan/HunyuanVideo
HunyuanVideo: A Systematic Framework For Large Video Generation Model
What it solves
HunyuanVideo は、オープンソースとクローズドソースの動画生成のギャップを埋めることを目的とした大規模オープンソース動画基盤モデルです。高いモーション多様性、正確なテキスト‑動画整合性、生成の安定性を備えた高品質動画の作成という課題に取り組み、主要な商用モデルに匹敵あるいはそれを上回る性能を目指します。
How it works
モデルは Causal 3D VAE を用いた空間‑時間圧縮潜在空間上で動作します。"Dual‑stream to Single‑stream" ハイブリッド Transformer アーキテクチャを採用し、まず動画トークンとテキストトークンを個別に処理（dual‑stream）し、続いてそれらを結合してマルチモーダル融合（single‑stream）を行います。テキストエンコーディングには、事前学習済み Decoder‑Only Multimodal Large Language Model（MLLM）と双方向トークンリファイナ―を組み合わせ、指示遵守と詳細記述を向上させます。さらに、ファインチューニングされた Hunyuan‑Large モデルを用いてユーザープロンプトをモデルが好む形式に書き換え、視覚品質と意図の理解を高めます。
Who it’s for
高性能なオープンソースのテキスト‑ツー‑ビデオ生成ツールを必要とする AI 研究者、開発者、クリエイター向けで、プロフェッショナルレベルの映像とモーション品質を提供します。
Highlights
- Massive Scale: One of the largest open-source video generative models with over 13 billion parameters.
- Unified Architecture: Uses a hybrid Transformer design to handle both image and video generation.
- Advanced Text Encoding: Leverages an MLLM instead of standard CLIP/T5 encoders for superior reasoning and alignment.
- Efficient Compression: Employs a 3D VAE to reduce token counts, enabling training at original resolutions and frame rates.
- Flexible Inference: Supports single-GPU, multi-GPU parallel inference (via xDiT), and FP8 quantization to reduce memory overhead.