Lightricks/ComfyUI-LTXVideo

해결하는 문제

이 프로젝트는 ComfyUI에서 LTX-2 비디오 생성 모델을 최대한 활용할 수 있는 커스텀 노드 및 워크플로우 세트를 제공합니다. 고급 제어 메커니즘, 하이 다이내믹 레인지(HDR) 출력, 오디오 생성 및 크리에이티브 업스케일링 도구를 추가하여 핵심 ComfyUI LTX-2 통합 기능을 확장합니다.

작동 방식

여러 전문화된 LoRA(Low-Rank Adaptation)와 커스텀 노드를 ComfyUI의 그래프 기반 인터페이스에 통합합니다. 여기에는 다음이 포함됩니다:

• Union IC-LoRA: 다운샘플링된 잠재 변수를 사용하여 깊이(depth)와 에지(Canny) 제어 신호를 동시에 처리하여 빠른 추론을 가능하게 하는 통합 모델.
• HDR IC-LoRA: ARRI LogC3 공간에서 비디오를 생성한 다음, 전문적인 그레이딩 및 EXR 내보내기를 위해 선형 HDR 값으로 디코딩합니다.
• Dub-It IC-LoRA: 화자의 정체성을 유지하면서 대상 텍스트 프롬프트에 맞춰 입 모양과 오디오를 재생성하는 다국어 더빙 도구.
• Pixel Spatial Upscaler: 단순히 픽셀을 보간하는 것이 아니라 새로운 미세한 디테일(2x 또는 4x)을 합성하는 생성형 업스케일러.
• Audio-Only Mode: 결합된 오디오/비디오 트랜스포머를 사용하여 비디오를 생성하지 않고 텍스트에서 오디오를 생성합니다.

대상 사용자

ComfyUI를 사용하며, 제어된 고품질 비디오 및 오디오 콘텐츠를 생성하기 위해 고용량 VRAM GPU(32GB 이상 권장)를 사용할 수 있는 콘텐츠 크리에이터, VFX 아티스트 및 AI 비디오 연구자.

주요 특징

• 통합 제어: 깊이 및 에지 제어를 단일 LoRA로 결합.
• 전문가급 HDR: 선형 HDR 출력 및 16/32비트 EXR 이미지 시퀀스 지원.
• AI 더빙: 다국어 음성 재구성 및 립싱크.
• 생성형 업스케일링: 합성된 질감과 구조를 추가하는 크리에이티브 공간 업스케일링.
• 결합 오디오/비디오: 텍스트 기반 오디오 생성을 독립적으로 수행할 수 있는 기능.