Lightricks/ComfyUI-LTXVideo

LTX-Video Support for ComfyUI

What it solves

このプロジェクトは、ComfyUI用のカスタムノードとワークフローを提供し、LTX-2ビデオ生成モデルの可能性を最大限に引き出します。高ダイナミックレンジ (HDR) ビデオ、動きや構造の精密な制御、およびオーディオ生成のための専門的なツールを追加することで、コアとなるComfyUI LTX-2統合を拡張します。

How it works

ComfyUIのプラグインとして統合され、LTX-2および様々な専門的なLoRA (Low-Rank Adaptation) とインターフェースするノードを提供します。これらのLoRAにより、リップシンク、空間的なアップスケーリング、または深度やエッジマップに従うことが可能になります。また、このプロジェクトには、LTX-2の音声/ビデオ結合トランスフォーマーアーキテクチャを活用して、テキストから音声を生成する専用のオーディオのみモードも含まれています。

Who it's for

コンテンツクリエイター、AIビデオアーティスト、およびComfyUIを使用する開発者で、プロフェッショナルグレードのHDR出力や生成的なアップスケーリングを含む、LTX-2ビデオ生成に対する高度な制御を求める人々です。

Highlights

  • Union IC-LoRA: 深度とエッジ (canny) の制御条件を同時に処理する、単一の統合されたLoRAです。

  • HDR Video: ARRI LogC3でエンコードされた線形HDR出力をサポートし、EXRエクスポート機能も備えています。

  • Lipdub: 多言語の吹き替えと、話者のアイデンティティを維持しながら音声を再構成する、専門的なLoRAです。

  • Generative Upscaling: 単純な補間ではなく、2xまたは4xの解像度で新しい詳細を合成するPixel Spatial Upscaler LoRAsです。

  • Text-to-Audio: モデルをオーディオのみモードで使用し、テキストプロンプトから音声を生成する機能です。