Lightricks/ComfyUI-LTXVideo

解決する課題

このプロジェクトは、ComfyUIでLTX-2ビデオ生成モデルを最大限に活用するためのカスタムノードとワークフローのセットを提供します。高度な制御メカニズム、ハイダイナミックレンジ（HDR）出力、オーディオ生成、およびクリエイティブなアップスケーリングツールを追加することで、コアとなるComfyUIのLTX-2統合機能を拡張します。

仕組み

いくつかの特化したLoRA（Low-Rank Adaptation）とカスタムノードをComfyUIのグラフベースのインターフェースに統合しています。これらには以下が含まれます：

• Union IC-LoRA: ダウンサンプリングされた潜在変数を使用して、深度とエッジ（Canny）の制御信号を同時に処理し、高速な推論を実現する統合モデル。
• HDR IC-LoRA: ARRI LogC3空間でビデオを生成し、その後、プロフェッショナルなグレーディングとEXRエクスポートのために線形HDR値にデコードします。
• Dub-It IC-LoRA: 話者のアイデンティティを維持しながら、ターゲットとなるテキストプロンプトに合わせて口の動きと音声を再生成する多言語ダビングツール。
• Pixel Spatial Upscaler: 単なるピクセルの補間ではなく、新しい微細なディテール（2xまたは4x）を合成する生成アップスケーラー。
• Audio-Only Mode: 結合オーディオ/ビデオトランスフォーマーを利用して、ビデオを生成せずにテキストからオーディオを生成します。

対象者

ComfyUIを使用し、制御された高品質なビデオおよびオーディオコンテンツを生成するために高VRAM GPU（32GB以上を推奨）を利用できるコンテンツクリエイター、VFXアーティスト、およびAIビデオ研究者。

ハイライト

• 統合制御: 深度とエッジの制御を単一のLoRAに結合。
• プロフェッショナルHDR: 線形HDR出力と16/32ビットEXRイメージシーケンスをサポート。
• AIダビング: 多言語の音声言い換えとリップシンク。
• 生成アップスケーリング: 合成されたテクスチャと構造を追加するクリエイティブな空間アップスケーリング。
• 結合オーディオ/ビデオ: テキストからオーディオの生成を独立して実行する機能。