Tencent-Hunyuan/HunyuanVideo

解決する課題

HunyuanVideoは、オープンソースとクローズドソースの動画生成のギャップを埋めるために設計された、大規模なオープンソースの動画基盤モデルです。生成コンテンツにおいて、高い視覚品質、多様なモーション、強力なテキストから動画への整合性を実現するという課題に取り組み、主要なプロプライエタリモデルと競合することを目指しています。

仕組み

このモデルは、Causal 3D VAEを使用して、空間時間的に圧縮された潜在空間で動作します。「デュアルストリームからシングルストリームへの」ハイブリッドTransformerアーキテクチャを採用しており、まず動画とテキストのトークンを独立して処理（デュアルストリーム）してモダリティ固有の変調を学習し、その後それらを連結（シングルストリーム）してマルチモーダル融合を行います。

主要な技術コンポーネントは以下の通りです：

• MLLMテキストエンコーダ：標準的なCLIP/T5エンコーダの代わりに、デコーダのみのマルチモーダル大規模言語モデルを使用し、画像とテキストの整合性と複雑な推論を向上させます。
• 3D VAE：ピクセル空間の動画と画像をコンパクトな潜在空間に圧縮し、トークン数を削減しながら元の解像度とフレームレートを維持します。
• プロンプト書き換え：ユーザーのプロンプトをモデルが好む記述に変換して、意図の理解や視覚品質を向上させる、微調整されたHunyuan-Largeモデルです。

対象ユーザー

高忠実度の動画生成を試したいAIコミュニティの研究者や開発者、およびクローズドソースの動画生成ツールに代わるオープンソースの代替手段を探しているユーザーを対象としています。

ハイライト

• 大規模：130億以上のパラメータを持つ動画生成モデル。
• 高性能：プロの人間による評価において、モーション品質と全体的なパフォーマンスで複数のクローズドソースベースラインを上回ります。
• 柔軟な推論：シングルGPU推論、xDiTによるマルチGPUシーケンス並列推論、メモリ使用量を削減するFP8量子化ウェイトをサポートします。
• エコシステム統合：Hugging Face Diffusersライブラリに統合され、ComfyUIでサポートされています。