Lightricks/ComfyUI-LTXVideo

무엇인가요

ComfyUI-LTXVideo는 시각적 프로그래밍 UI인 ComfyUI를 위한 커스텀 노드 세트로, ComfyUI 내에서 Lightricks의 LTX-2 비디오 생성 모델을 실행할 수 있게 해줍니다. 이 저장소에는 추가 노드, 예제 워크플로우 및 헬퍼 스크립트가 포함되어 있어 사용자가 텍스트-비디오, 이미지-비디오, 비디오-비디오, 오디오 전용 생성, HDR 변환, 더빙, 업스케일링 및 다양한 LoRA 기반 제어 기술을 수행할 수 있습니다.

대상 사용자

이미 ComfyUI를 사용 중이며 최첨단 비디오 생성 기술을 실험하고자 하는 아티스트, 크리에이터 및 개발자.
고사양 GPU(32 GB VRAM)와 충분한 디스크 공간(≈100 GB)을 갖추어 대규모 LTX-2 체크포인트를 호스팅할 수 있는 사용자.
LoRA 기반 제어(깊이, 포즈, HDR, 더빙 등)를 생성된 비디오에 적용하는 데 관심이 있는 모든 분.

시작하기

ComfyUI 설치 (공식 사이트에서 다운로드).
ComfyUI 실행 → Ctrl + M → Manager → “LTXVideo” 검색 후 커스텀 노드 패키지 설치.
ComfyUI 재시작; 노드 메뉴에 새로운 LTXVideo 카테고리가 나타납니다.
처음 사용 시 필요한 LTX-2 모델 파일이 자동으로 다운로드됩니다 (README에 나열된 HuggingFace 링크에서 미리 다운로드할 수도 있습니다).
custom_nodes/ComfyUI-LTXVideo/example_workflows/ 아래의 예제 워크플로우 JSON 파일을 열어 준비된 파이프라인을 확인하고, 필요에 따라 프롬프트나 매개변수를 편집하세요.

주요 기능

기능	역할	일반적인 용도
텍스트-비디오 / 이미지-비디오	텍스트 프롬프트나 단일 이미지에서 전체 비디오 클립 생성.	빠른 스토리보드, 시각 효과 목업.
IC-LoRA 제어	깊이, 포즈, 엣지, HDR, 더빙, 물 시뮬레이션 등을 기본 모델에 추가하는 LoRA 어댑터.	세밀한 예술적 제어, 스타일 전송, 시각 효과.
HDR 변환	SDR 비디오를 ACEScct HDR 프레임으로 변환; 16/32-bit EXR 시퀀스 내보내기 가능.	고다이내믹레인지 그레이딩 파이프라인.
Dub-It	새로운 대화에 맞춰 립싱크와 오디오를 재생성 (다국어 또는 동일 언어).	로컬라이제이션, 보이스오버 제작.
Pixel Spatial Upscaler	단순 보간이 아닌 새로운 디테일을 추가하는 생성형 업스케일링 (2배 또는 4배).	저해상도 초안을 고해상도 최종 렌더링으로 변환.
오디오 전용 생성 (T2A)	오디오/비디오 조인트 트랜스포머를 오디오 전용 모드로 사용하여 wav/FLAC 파일 출력.	사운드 디자인, 음악 생성.
Tiled Fusion Sampler	단일 잠재 캔버스를 유지하면서 큰 캔버스(FullHD-8K)를 타일링하여 고해상도 비디오-비디오 작업 가능.	4K/8K 비디오 업스케일링 또는 디테일 개선.
저 VRAM 로더	32 GB VRAM에 맞추기 위해 모델 일부를 오프로드하는 헬퍼 노드.	메모리가 부족한 사용자용.

작동 원리 (개요)

LTX-2는 비디오 프레임과 오디오를 공동으로 예측하는 대형 트랜스포머입니다. 핵심 모델은 공식 ComfyUI 저장소 내에 있으므로, 이 패키지는 추가 기능(LoRA 주입, 제어 신호 처리, 업스케일링, HDR 후처리 등)을 노출하는 래퍼 노드만 추가합니다.
워크플로우는 노드를 연결하여 구축됩니다: 모델 로더 노드가 체크포인트를 메모리에 로드하고, 선택적인 LoRA 노드가 제어 어댑터를 부착하며, 샘플러 노드가 확산 과정을 실행하고, 디코드 노드가 잠재 텐서를 이미지 프레임이나 오디오 파형으로 변환합니다.
고해상도 작업의 경우, Tiled Fusion Sampler가 캔버스를 겹치는 타일로 분할하고, 단일 노이즈 필드를 공유하면서 각 타일에서 확산을 실행한 후 결과를 다시 결합합니다.

적합하지 않은 경우

32 GB 이상의 VRAM을 갖춘 GPU가 없다면 기본 모델(22 B 파라미터)을 로드할 수 없습니다. 저 VRAM 로더에 의존해야 하며 생성 속도가 느려질 수 있습니다.
이 저장소는 ComfyUI와 밀접하게 결합되어 있어 독립형 스크립트나 다른 UI 프레임워크와 함께 사용할 수 없습니다.
많은 대용량 체크포인트 파일(모델, 업스케일러, LoRA)을 수동으로 다운로드해야 하므로 저장 공간을 많이 차지합니다.

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며, 외부의 추측은 추가되지 않았습니다.