shengshu-ai/minWM

해결하는 문제

minWM은 연구자와 개발자가 표준 텍스트-투-비디오(T2V) 파운데이션 모델에서 실시간 동작 조건부 비디오 세계 모델로 전환할 수 있도록 돕기 위해 설계된 풀스택 프레임워크입니다. 데이터 준비부터 학습 및 추론에 이르는 완전한 오픈소스 경로를 제공하여 사용자가 복잡한 파이프라인을 리버스 엔지니어링할 필요를 없애줍니다.

작동 원리

이 프레임워크는 실시간 성능을 위해 양방향 확산 모델을 4단계 자기회귀(AR) 학생 모델로 변환하는 4단계 파이프라인을 구현합니다:

1. 데이터 준비: 원본 비디오와 카메라 궤적(포즈)을 학습 가능한 잠재 변수로 처리합니다.
2. 양방향 SFT: 파운데이션 모델의 초기 지도 미세 조정(Supervised Fine-Tuning)을 수행합니다.
3. 증류(Distillation): Teacher Forcing AR 확산, 인과적 ODE/CD 증류, 그리고 자기 롤아웃(self-rollout)을 포함한 비대칭 DMD의 다단계 프로세스입니다.
4. 추론: 4단계 DMD 추론을 사용하며, 포즈 문자열(예: "a4,w8") 또는 JSON 파일을 통한 카메라 궤적 제어를 지원합니다.

Wan 2.1 및 HunyuanVideo 1.5를 포함한 여러 백본을 지원하며, 통합된 트레이너와 데이터셋 추상화를 사용합니다.

대상 사용자

단일 모델보다는 구조화되고 실행 가능한 프레임워크를 원하는 대학원생, 독립 연구자, 그리고 세계 모델 분야에 진입하는 주니어 연구실을 주 대상으로 합니다.

주요 특징

• 풀스택 파이프라인: 데이터 $\rightarrow$ 학습 $\rightarrow$ 추론으로 이어지는 전체 흐름을 오픈소스화합니다.
• 멀티 백본 지원: Wan 2.1 및 HunyuanVideo 1.5 아키텍처와 모두 호환됩니다.
• LLM 지원 디버깅: 사용자가 학습 실패(loss NaN 또는 카메라 드리프트 등)를 진단하고 새로운 백본을 통합할 수 있도록 돕는 "Claude Skills"를 포함합니다.
• 실시간 성능: 모델을 4단계 추론으로 증류하여 인터랙티브한 비디오 생성을 가능하게 합니다.