テキストからビデオへのモデルへの深掘り

テキストからビデオ生成は、テキスト記述から画像シーケンスを作成し、空間的および時間的一貫性を保つ新興のコンピュータビジョンタスクです。テキストから画像への生成と似た進化の道筋をたどりますが、フレーム間の長期依存性が必要になるため、はるかに複雑です。

テキストからビデオ生成における課題

テキストからビデオを生成することは、静止画像を生成するよりも難しいです。時間的な一貫性を保つ必要があるためです。主な障壁は次のとおりです。

  • 計算コスト: フレーム間の時間的・空間的一貫性を確保することで長期的な依存関係が生まれ、トレーニングが計算的に高コストとなり、多くの研究者にとって手が届きにくくなります。
  • データ不足: ペアになったビデオとテキストを含む高品質なマルチモーダルデータセットは少なく、注釈もまばらであることが多く、モデルが複雑な動きの意味を学習する能力を妨げます。
  • キャプションの曖昧さ: ビデオを記述することは単一画像を記述するよりも複雑です。効果的なビデオ生成には、単一の短いテキストプロンプトではなく、プロンプトのシーケンスや物語的なストーリーが必要になることが多いです。

モデルアーキテクチャの進化

テキストからビデオへのモデルは、主に 3 つのアーキテクチャ波を経て進化してきました。

1. GAN と VAE ベースのアプローチ

初期の研究では、生成的敵対的ネットワーク (GAN) と変分オートエンコーダ (VAE) を利用して、キャプションに基づきフレームを自己回帰的に生成しました。例として Text2Filter と TGANs-C があります。これらの初期モデルは低解像度、短時間、そして単純で孤立した動きに限定されていました。

2. トランスフォーマーベースのフレームワーク

GPT-3 と DALL-E の成功に続き、研究者は長いシーケンスを扱うためにトランスフォーマーアーキテクチャを採用しました。代表的なモデルは以下です：

  • Phenaki: 任意の長さのビデオを、プロンプトのシーケンス（ストーリーライン）に条件付けて生成できるようにします。
  • NUWA-Infinity: オートレグレッシブ・オーバー・オートレグレッシブ機構を使用して、無限の HD 品質ビデオを合成します。
  • その他のフレームワーク: CogVideo、VideoGPT、Make-A-Video もトランスフォーマーベースの手法を利用しており、TATS は VQGAN と時間感受性トランスフォーマーモジュールを組み合わせています。

3. ディフュージョンベースのアーキテクチャ

現在の研究波はディフュージョンモデルに焦点を当て、ハイパーリアリスティックで文脈的に豊かな結果を実現しています。主な開発は以下です：

  • Video Diffusion Models (VDM): ビデオ領域へのディフュージョンモデル拡張の先駆者です。
  • MagicVideo: VDM に比べて効率を高めるため、低次元潜在空間でビデオクリップを生成します。
  • Text2Video-Zero: 訓練可能なモーションダイナミクスモジュールと事前学習済み Stable Diffusion モデルを組み合わせたゼロショットフレームワークで、ペアになったテキスト・ビデオデータを必要としません。
  • NUWA-XL: 「ディフュージョン・オーバー・ディフュージョン」手法を用いて 3,376 フレームで学習し、スライディングウィンドウのオートレグレッシブ生成で見られるコンテキストギャップを削減します。
  • Tune-a-Video: 1 つのテキスト・ビデオペアを使用して事前学習済みテキスト→画像モデルを微調整し、コンテンツを変更しつつ動きを保持します。

ビデオ・テキスト データセット

モデルの性能はペアになったビデオ・テキストデータセットの品質に大きく依存します。現在の戦略は大規模データセットを使用するか、異なるデータタイプを組み合わせることです：

  • WebVid: 1,070 万件のテキスト・ビデオペア（52,000 時間のビデオ）からなる一般的なデータセットですが、ノイズや無関係な記述が多く含まれています。
  • Howto100M: 手順ごとの指導ビデオ（料理、園芸など）に焦点を当て、1.36 億クリップを収録しています。
  • QuerYD: イベントローカリゼーションに焦点を当て、オブジェクトやアクションの相対位置に関する詳細なキャプションを提供します。
  • CelebV-Text: 7 万本以上のビデオを含む大規模顔データセットで、リアルな顔、感情、ジェスチャーの生成に使用されます。

一部のモデル（例：Make-a-Video）は、テキスト・画像ペアを用いて視覚的外観を学習し、単一モーダルのビデオデータで時空間依存性を教師なしで学習することで、データ不足を回避しようとしています。

実装とオープンソースリソース

多くのテキストからビデオへのモデルは、diffusers ライブラリを通じて Hugging Face エコシステムに統合されています。ユーザーは Text2Video-Zero や ModelScope（Alibaba / DAMO Vision Intelligence Lab のもの）などのモデルを実行・微調整できます。

実用的な応用

ユーザーは以下の実装パターンを使用して ModelScope モデルをデプロイできます：

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

prompt = "Spiderman is surfing"
video_frames = pipe(prompt, num_inference_steps=25).frames
video_path = export_to_video(video_frames)

コミュニティエコシステム

公式統合に加えて、コミュニティは Phil Wang（lucidrains）などの貢献者を通じて、Imagen、Phenaki、NUWA などの主要論文の非公式実装を開発し、ExponentialML が提供するような微調整フレームワークも作成しています。

Sources