aigc-apps/VideoX-Fun

何を解決するか

VideoX-Fun は、高品質な AI 画像および動画を生成する包括的なパイプラインを提供します。Diffusion Transformer (DiT) モデルのデプロイおよびトレーニングの複雑さに対処し、CogVideoX および Wan2.1/2.2 を含む複数のモデルファミリーにおける推論とトレーニングを統合されたフレームワークで実現します。

仕組み

このプロジェクトは、複数のモダリティをサポートする柔軟な生成パイプラインを実装しています：

• 推論：Python スクリプト、Gradio ベースの WebUI、または ComfyUI を通じてコンテンツを生成できます。テキストから動画（T2V）、画像から動画（I2V）、動画から動画（V2V）、および制御付き動画生成（Canny、Pose、Depth など）をサポートします。
• メモリ最適化：コンシューマー向け GPU での使用を可能にするために、model_cpu_offload、model_cpu_offload_and_qfloat8（量子化）、sequential_cpu_offload などの GPU_memory_mode オプションを提供します。
• トレーニング：データ前処理（セグメンテーション、クリーニング、キャプション付与）から始まり、ベースラインモデルおよび特定のスタイル変換用の LoRA（低ランク適応）モデルのトレーニングまでを包括的にサポートします。
• 並列化：大規模モデル向けに、xfuser および yunchang を使用して GPU を複数枚使ってワークロードをヘッドおよびシーケンスに分散するマルチGPU推論をサポートします。

対象ユーザー

• AIアーティストおよびクリエイター：テキスト、画像、既存の動画から、正確な制御で動画を生成したい人。
• 機械学習研究者および開発者：独自のデータセットを使って Diffusion Transformer モデルをトレーニングまたはファインチューニングする標準化されたパイプラインが必要な人。
• GPU制約のあるユーザー：量子化とオフロードにより、コンシューマー向けハードウェアで大規模な動画モデルを実行したい人。

特徴

• マルチモデル対応：CogVideoX-Fun、Wan2.1、Wan2.2、Qwen-Image シリーズと互換性があります。
• 柔軟な制御：Canny、Pose、Depth、MLSD、軌道制御、カメラレンズ制御など、高度な制御メカニズムをサポートします。
• 大規模なトレーニングツールセット：ベースライントレーニング、LoRAトレーニング、報酬ベースの LoRA 用スクリプトを含みます。
• デプロイオプション：WebUI、ComfyUI統合、直接の Python API など、複数のエントリポイントを提供します。