MeiGen-AI/OPSD-V

해결하는 문제

OPSD-V는 소수 단계 자기회귀 (AR) 비디오 생성기에서 발생하는 오차 누적 및 모션 역학 약화 문제를 해결합니다. 이러한 모델에서는 생성된 청크 내의 작은 아티팩트나 의미론적 드리프트가 KV cache에 다시 기록되어 이후의 모든 청크에 영향을 미치며, 이로 인해 장기 생성 시 시각적 품질 저하와 모션 불안정성이 발생합니다.

작동 원리

학습 후 온폴리시 자기 증류 패러다임을 사용합니다. 학습 중에 "학생" 모델은 실제 배포 롤아웃을 수행하여 청크를 생성하고 자신의 KV cache를 업데이트합니다. 동시에 "교사" 모델은 학생과 동일한 노이즈 상태에서 평가되지만, 실제 긴 비디오 컨텍스트에서 파생된 더 깨끗하고 AR과 일관된 시간적 캐시를 제공받습니다. 학생의 속도 예측을 교사의 예측과 일치시킴으로써, 모델은 원래의 소수 단계 샘플러나 추론 시 캐시 메커니즘을 변경하지 않고도 궤적을 수정하는 방법을 학습합니다.

대상 사용자

자기회귀 비디오 생성 분야의 연구자 및 개발자, 특히 소수 단계 확산 모델의 장기적 안정성과 모션 품질을 개선하고자 하는 분들.

주요 특징

• 온폴리시 학생 롤아웃: 학생은 추론 시 사용할 정확한 궤적을 따릅니다.
• 더 깨끗한 교사 컨텍스트: 실제 비디오 기록을 사용하여 고품질의 감독 타겟을 제공합니다.
• 추론 경로 유지: 원래의 4-step AR 샘플러를 유지하여 지연 시간 증가를 방지합니다.
• 메모리 효율적인 학습: 청크 단위 역전파, FSDP, LoRA를 사용하여 긴 비디오 롤아웃을 계산적으로 가능하게 합니다.