ComfyUI-LTXVideo: 고급 LTX-2 비디오 생성 및 오디오 합성을 위한 커스텀 ComfyUI 노드

해결하는 문제

이 프로젝트는 LTX-2 비디오 생성 모델의 잠재력을 최대한 끌어올리기 위해 ComfyUI를 위한 커스텀 노드와 워크플로우 세트를 제공합니다. 고역동적 범위(HDR) 비디오, 동작 및 구조에 대한 정밀한 제어, 그리고 오디오 생성을 위한 특화된 도구를 추가하여 핵심 ComfyUI LTX-2 통합 기능을 확장합니다.

작동 방식

ComfyUI의 플러그인으로 통합되어 LTX-2 및 다양한 특화된 LoRAs(Low-Rank Adaptation)와 인터페이스하는 노드를 제공합니다. 이러한 LoRAs는 모델이 립싱크, 공간 업스케일링 또는 깊이 및 엣지 맵을 따르는 것과 같은 특정 작업을 수행할 수 있도록 합니다. 또한 이 프로젝트는 LTX-2의 결합 오디오/비디오 트랜스포머 아키텍처를 활용하여 텍스트로부터 사운드를 생성하는 전용 오디오 전용 모드를 포함합니다.

대상 사용자

전문가급 HDR 출력 및 생성형 업스케일링을 포함하여 LTX-2 비디오 생성에 대한 고급 제어를 원하는 ComfyUI 사용자(콘텐츠 크리에이터, AI 비디오 아티스트, 개발자)를 위한 것입니다.

주요 특징

• Union IC-LoRA: 깊이와 엣지(canny) 제어 조건을 동시에 처리하는 단일 통합 LoRA입니다.
• HDR 비디오: ARRI LogC3로 인코딩된 선형 HDR 출력을 지원하며 EXR 내보내기 기능을 갖추고 있습니다.
• Lipdub: 화자의 정체성을 유지하면서 다국어 더빙 및 음성 재구성을 수행하기 위한 특화된 LoRA입니다.
• 생성형 업스케일링: 단순한 보간법 대신 2x 또는 4x 해상도에서 새로운 미세한 디테일을 합성하는 Pixel Spatial Upscaler LoRAs입니다.
• Text-to-Audio: 텍스트 프롬프트를 사용하여 오디오 전용 모드에서 오디오를 생성할 수 있는 기능입니다.