Lightricks/ComfyUI-LTXVideo

概要

ComfyUI-LTXVideo は、ビジュアルプログラミングUI ComfyUI 用のカスタムノードセットであり、ComfyUI内でLightricksの LTX-2 動画生成モデルを実行できるようにします。このリポジトリには、追加のノード、サンプルワークフロー、ヘルパースクリプトが同梱されており、テキストから動画、画像から動画、動画から動画、音声のみの生成、HDR変換、吹き替え、アップスケーリング、および多くのLoRAベースの制御テクニックを実行できます。

対象ユーザー

• すでに ComfyUI を使用しており、最先端の動画生成を試したいアーティスト、クリエイター、開発者。
• ハイエンドGPU (32 GB VRAM) と十分なディスク容量 (≈100 GB) を持ち、大規模なLTX-2チェックポイントをホストできるユーザー。
• LoRAベースの制御 (深度、ポーズ、HDR、吹き替えなど) を生成動画に適用することに興味がある方。

始め方

1. ComfyUIをインストール (公式サイトからダウンロード)。
2. ComfyUIを開き、Ctrl + M → Manager → “LTXVideo” を検索してカスタムノードパッケージをインストール。
3. ComfyUIを再起動すると、ノードメニューに新しい LTXVideo カテゴリが表示されます。
4. 初回使用時に必要なLTX-2モデルファイルが自動的にダウンロードされます (READMEに記載されているHuggingFaceリンクから事前にダウンロードすることも可能です)。
5. custom_nodes/ComfyUI-LTXVideo/example_workflows/ にあるサンプルワークフローのJSONファイルを開いてパイプラインを確認し、必要に応じてプロンプトやパラメータを編集してください。

できること

機能	内容	一般的な用途
テキストから動画 / 画像から動画	テキストプロンプトや単一画像からフル動画クリップを生成。	クイックストーリーボード、VFXモックアップ。
IC-LoRA制御	深度、ポーズ、エッジ、HDR、吹き替え、水シミュレーションなどをベースモデルに追加するLoRAアダプター。	きめ細かな芸術的制御、スタイル転送、VFX。
HDR変換	SDR動画をACEScct HDRフレームに変換。16/32-bit EXRシーケンスのエクスポートが可能。	ハイダイナミックレンジのグレーディングパイプライン。
Dub-It	新しい対話に合わせてリップシンクと音声を再生成 (多言語または同言語)。	ローカライズ、ボイスオーバー作成。
Pixel Spatial Upscaler	単純な補間ではなく、新しい詳細を追加する生成的なアップスケーリング (2倍または4倍)。	低解像度のドラフトを高解像度の最終レンダリングに変換。
音声のみの生成 (T2A)	音声/動画ジョイントトランスフォーマーを音声のみモードで使用し、wav/FLACファイルを出力。	サウンドデザイン、音楽生成。
Tiled Fusion Sampler	単一の潜在キャンバスを維持しながら大きなキャンバス (FullHD-8K) をタイル状にサンプリングし、高解像度の動画から動画への作業を可能にする。	4K/8K動画のアップスケーリングや詳細の洗練。
低VRAMローダー	32 GB VRAMに収まるようにモデルの一部をオフロードするヘルパーノード。	メモリが少ないユーザー向け。

仕組み (概要)

• LTX-2 は、動画フレームと音声を共同で予測する大規模なトランスフォーマーです。コアモデルは公式のComfyUIリポジトリ内に存在するため、このパッケージは追加機能 (LoRA注入、制御信号処理、アップスケーリング、HDR後処理など) を公開する ラッパーノード を追加するだけです。
• ワークフローはノードを接続して構築されます：モデルローダーノードがチェックポイントをメモリに読み込み、オプションの LoRA ノードが制御アダプターを接続し、サンプラーノードが拡散プロセスを実行し、デコードノードが潜在テンソルを画像フレームまたは音声波形に変換します。
• 高解像度作業の場合、Tiled Fusion Sampler がキャンバスを重なり合うタイルに分割し、単一のノイズフィールドを共有しながら各タイルで拡散を実行し、結果を結合します。

向いていない場合

• 32 GB以上のVRAMを持つGPUがない場合、ベースモデル (22 Bパラメータ) は収まりません。低VRAMローダーに依存し、生成速度が遅くなることを受け入れる必要があります。
• このリポジトリは ComfyUI と密接に結合されており、スタンドアロンスクリプトや他のUIフレームワークでは使用できません。
• 多くの大きなチェックポイントファイル (モデル、アップスケーラー、LoRA) を手動でダウンロードする必要があるため、ストレージを大量に消費します。

---

上記の情報はすべてリポジトリのREADMEから直接引用したものであり、外部の推測は一切追加されていません。