thu-ml/Causal-Forcing

해결하는 문제

Causal Forcing와 Causal Forcing++는 고품질의 실시간 상호작용 비디오 생성이라는 과제를 해결합니다. 이들은 이전의 순차적 자동 회귀(AR) 확산 모델을 개선하여 시각적 품질과 운동 역학을 향상시키면서도 추론 효율성과 학습 예산을 유지합니다.

작동 방식

이 프로젝트는 비대칭 분포 매칭 증류(DMD)에 대한 이론적으로 올바른 초기화를 만들기 위해 다단계 학습 파이프라인을 사용합니다:

1. 단계 1: AR 확산 학습: 기본 순차적 자동 회귀 확산 모델을 구축합니다.
2. 단계 2: 초기화: Causal ODE(Causal Forcing) 또는 Causal Consistency Distillation(Causal Forcing++)를 사용합니다. 후자는 오직 진짜 데이터만을 사용함으로써 시간이 많이 소요되는 ODE 데이터 정제가 필요 없게 합니다.
3. 단계 3: 비대칭 DMD: 최종 단계로, 생성에 사용되는 몇 단계 모델을 생성합니다.

이 프로젝트는 청크 단위 및 프레임 단위 모델을 모두 지원하며, 프레임 단위 접근 방식은 텍스트에서 비디오(T2V) 생성과 이미지에서 비디오(I2V) 생성을 자연스럽게 통합합니다.

대상 사용자

고품질의 운동 표현과 낮은 지연 시간 추론이 필요한 비디오 생성, 월드 모델, 실시간 상호작용 비디오 시스템 분야의 연구자 및 개발자들입니다.

주요 특징

• 극도의 효율성: 극도로 낮은 지연 시간을 위한 1단계 및 2단계 프레임 단위 모델 제공.
• 통합 생성: 프레임 단위 모델은 T2V와 I2V 모두를 자연스럽게 지원합니다.
• 확장성: Rolling Forcing와 같은 확장 기능과 호환되어 분 단위 긴 비디오 생성이 가능합니다.
• 산업계 채택: DreamX-World 1.0 및 Zing-0.5와 같은 여러 최고 수준의 비디오 월드 모델의 기반으로 사용되고 있습니다.