LongLive – NVIDIA의 장문맥 동영상 및 로봇 행동 모델링 스위트

TL;DR

LongLive은 NVIDIA의 네 가지 관련 연구 프로젝트 모음으로, 매우 긴 동영상 생성과 장문맥 로봇 행동 모델의 한계를 넓힙니다. 각 하위 프로젝트는 별도의 폴더에 있으며 개별적으로 클론할 수 있습니다. 저장소는 다음을 위한 코드, 학습 레시피, 추론 파이프라인, 사전 학습된 체크포인트를 제공합니다:

Long‑WAM – 실제 로봇 데모와 함께, 수 분 분량의 비디오를 보고 행동할 수 있는 월드 액션 모델.
LongLive‑Plug – 재학습 없이 기존 비디오 모델에 새로운 기능을 추가하는 "한 번으로 모두" LoRA 스타일 증류.
LongLive 2.0 – 장편 비디오 확산 모델의 학습 및 서빙을 위한 고성능 인프라 (NVFP4 양자화, 시퀀스 병렬 처리, KV 캐시 트릭).
LongLive 1.0 – 사용자가 스트리밍 중에 비디오를 조작할 수 있는 대화형 실시간 텍스트-투-비디오 시스템.

모든 프로젝트는 Apache‑2.0에 따라 오픈소스이며 HuggingFace에 모델 가중치를 제공합니다.

1. 해결하려는 문제

(수 초가 아닌) 수 분 동안 지속되는 비디오를 생성하거나 사용하면 곧 두 가지 병목 현상이 발생합니다.

메모리 – 트랜스포머 스타일 확산 모델은 길이에 따라 선형적으로 증가하는 KV 캐시를 유지합니다.
계산 – 긴 시퀀스 학습은 비용이 많이 들고 추론 속도가 느려집니다.

LongLive은 두 가지를 모두 해결합니다:

스트리밍 시각 기억(Long‑WAM)을 통해 로봇이 본 것의 롤링 표현을 유지할 수 있어, 긴 지평에 걸쳐 행동하는 정책을 가능하게 합니다.
NVFP4 양자화 및 시퀀스 병렬 처리(LongLive 2.0)는 메모리를 줄이고 학습/추론을 >18% 가속화합니다.
한 번으로 모두 증류(LongLive‑Plug)는 재사용 가능한 기능(LoRA 어댑터)을 기본 모델에서 분리하여, 전체 확산 네트워크를 재학습하지 않고도 새로운 동작을 추가할 수 있게 합니다.
대화형 생성(LongLive 1.0)은 확산 프로세스를 스트리밍하여 사용자가 프롬프트를 즉석에서 변경할 수 있게 합니다.

2. 핵심 구성 요소 및 상호 작용

구성 요소	목표	핵심 기술	일반적인 사용 사례
Long‑WAM	장문맥 로봇 정책 및 비디오 생성	스트리밍 IDM/COD, 에이전트 API, 시각 기억, 로봇 특정 어댑터	LIBERO, RoboTwin, RoboCasa에서 정책 학습/평가; YAM, Franka, Unitree G1에 배포
LongLive‑Plug	학습된 기능을 여러 비디오 모델에 재사용	LoRA 어댑터, 소수 단계/CFG 증류, "한 번으로 모두" 학습	전체 재학습 없이 기본 확산 모델에 새 스타일, 객체 또는 제어 신호 추가
LongLive 2.0	장편 비디오를 위한 빠르고 확장 가능한 학습 및 추론	NVFP4(W4A4) 양자화, KV 캐시 양자화, 시퀀스 병렬 처리, 비동기 디코딩	단일 H100에서 45 FPS로 5B 비디오 확산 모델 학습; 낮은 지연 시간으로 서빙
LongLive 1.0	실시간 대화형 텍스트-투-비디오	어텐션 싱크, KV 재캐싱, 스트리밍 롱 튜닝	비디오가 스트리밍되는 동안 프롬프트를 편집할 수 있는 사용자 안내 비디오 제작

네 가지 모두 공통 코드 베이스(유틸리티 스크립트, 모델 로딩 도우미, 평가 도구)를 공유하며, 필요한 부분만 가져올 수 있도록 스파스 체크아웃이 가능합니다.

3. 시작하기 (빠른 시작 예제)

# Long‑WAM 하위 프로젝트만 클론
 git clone --filter=blob:none --sparse --depth 1 \
    https://github.com/NVlabs/LongLive.git && cd LongLive
 git sparse-checkout set Long-WAM
 cd Long-WAM

# 종속성 설치 (정확한 버전은 Long-WAM/README 참조)
 pip install -r requirements.txt

# 사전 학습된 체크포인트 다운로드 (예: LIBERO‑IDM)
 python download_checkpoint.py --model Long-WAM-LIBERO-IDM

# 추론 데모 실행 (스트리밍 로봇 비디오)
 python demo_robot_video.py --policy libe…

Long-WAM을 LongLive-Plug, LongLive2.0 또는 LongLive1.0으로 바꿔 다른 도구를 시도해 보십시오.

4. 주목할 만한 결과 및 벤치마크

프로젝트	모델 크기	속도 (FPS)	VBench 점수	하이라이트
LongLive‑2.0‑5B‑NVFP4‑2Step	5B	45.7	83.14	가장 빠른 NVFP4 추론 (W4A4)
LongLive‑2.0‑5B‑NVFP4‑4Step	5B	29.7	84.51	속도와 품질의 좋은 절충
LongLive‑1.3B	1.3B	20.7	84.87	단일 H100에서 실시간 대화형 생성
Long‑WAM (RoboCasa GR1, 4.8초 컨텍스트)	–	–	–	10초 이상의 로봇 비디오에 걸친 스트리밍 시각 기억 입증

저장소에는 LongLive을 기반으로 구축된 많은 다운스트림 프로젝트(DreamForge‑World, SANA‑Video, MemFlow 등)도 나열되어 커뮤니티에 미치는 영향을 보여줍니다.

5. 누가 사용해야 하나요?

연구자: 긴 지평 비디오 확산, 로봇 정책 학습 또는 메모리 효율적인 트랜스포머를 탐구하는 연구자.
엔지니어: 낮은 지연 시간 추론이 필요한 실시간 비디오 생성 제품을 구축하는 엔지니어.
로봇 팀: 미세 조정하거나 Franka, Unitree와 같은 하드웨어에 직접 배포할 수 있는 사전 학습된 월드 액션 모델을 원하는 팀.
ML 운영 담당자: 대규모 병렬 학습(NVFP4, 시퀀스 병렬 처리)에 관심이 있는 담당자.

6. 제한 사항 및 미해결 질문

가장 성능이 좋은 구성(NVFP4, KV 캐시 양자화)은 현재 NVIDIA H100 / DGX 하드웨어가 필요합니다. 소비자 GPU에서 실행하면 느려집니다.
실제 로봇 배포 예제는 나열된 플랫폼(YAM, Franka, Unitree G1)으로 제한됩니다. 다른 로봇에 적용하려면 사용자 정의 래퍼가 필요합니다.
"한 번으로 모두" 증류는 기본 모델과 대상 모델이 아키텍처를 공유할 때 가장 잘 작동합니다. 교차 아키텍처 전송은 아직 지원되지 않습니다.

7. 라이선스 및 인용

코드는 Apache‑2.0에 따라 릴리스됩니다. 각 하위 폴더에는 자체 라이선스 사본 및 타사 고지 사항이 포함되어 있습니다. 연구에서 모델이나 코드를 사용하는 경우 README에 나열된 4개의 arXiv 논문을 인용하십시오.

결론: LongLive은 장문맥 비디오 확산 및 로봇 행동 모델링의 경계를 넓히는 진정한 프로덕션급 연구 스위트로, 고성능 인프라와 바로 사용 가능한 사전 학습 모델을 모두 제공합니다.