NVlabs/LongLive

무엇을 해결하는가

LongLive 2.0은 긴 비디오 생성을 더 효율적이고 확장 가능하게 만들기 위해 설계된 인프라입니다. 이는 확장된 비디오 프레임 시퀀스를 생성할 때 발생하는 높은 계산 및 메모리 비용 문제를 해결하여, 실시간 대화형 생성 및 높은 처리량을 가진 추론을 가능하게 합니다.

작동 방식

이 프로젝트는 NVFP4(4비트 부동 소수점 형식)와 시퀀스 병렬 처리를 활용하여 훈련과 추론을 모두 최적화하는 병렬 인프라를 구현합니다.

훈련의 경우, 텍스트-비디오(T2V) 및 이미지-비디오(I2V) 모달리티를 위한 자기회귀(AR) 교사 강제(teacher-forcing) 훈련과 생성에 필요한 단계 수를 줄이기 위한 소수 단계 증류(DMD distillation)를 지원합니다.

추론의 경우, 메모리 오버헤드를 줄이기 위해 NVFP4 가중치와 KV 캐시를 사용하고, 시퀀스 병렬 추론 및 비동기 디코딩을 활용합니다. 또한 긴 시간 동안 안정성을 유지하기 위해 multi-shot attention sinks와 같은 기술을 통합합니다.

대상 사용자

이 인프라는 긴 시계(long-horizon) 비디오 생성을 연구하는 연구자 및 개발자, 특히 처리량을 극대화하고 하드웨어 가속 양자화를 활용하기 위해 NVIDIA GPU(SM90/H100)를 사용하는 사용자를 대상으로 합니다.

주요 특징

• NVFP4 지원: W4A4 양자화 및 NVFP4 KV 캐시를 구현하여 훨씬 더 빠른 추론(최대 45.7 FPS)을 제공합니다.
• Causal Diffusion: 효율적인 소수 단계 비디오 생성을 위해 AR 훈련과 DMD distillation을 모두 지원합니다.
• 병렬성: 긴 시퀀스를 처리하기 위해 균형 잡힌 시퀀스 병렬 훈련 및 시퀀스 병렬 추론 기능을 제공합니다.
• 다양한 모달리티: 텍스트-비디오(T2V) 및 이미지-비디오(I2V) 워크플로우를 모두 지원합니다.
• FP8 PTQ: BF16 체크포인트를 위한 TorchAO FP8 사후 훈련 양자화(post-training quantization)를 포함합니다.