Junchao-cs/SolarWM

해결하는 문제

SolarWM은 인터랙티브 비디오 세계 모델을 학습하고 실행하기 위한 통합 오픈소스 프레임워크를 제공합니다. 여러 최신 모델(Wan2.2, LTX-2.5, MiniMax-H3)을 지원하면서도 각 모델의 고유한 기능을 유지하는 단일 코드베이스를 제공함으로써, 이기종 비디오 백본을 다룰 때 발생하는 복잡성을 해결합니다.

작동 방식

이 프로젝트는 3단계 학습 레시피를 활용하여 양방향 비디오 모델을 장기 생성이 가능한 인과적 인터랙티브 세계 모델로 변환합니다.

1. Stage 0.5: 양방향 흐름 매칭(bidirectional flow matching)을 사용하여 기본 비디오, 텍스트 및 카메라 조건부 표현을 학습합니다.
2. Stage 1: 교사 강제(teacher-forced) 자기회귀 학습을 사용하여 모델이 노이즈 제거와 유한 단계 흐름 맵을 동시에 학습하도록 합니다.
3. Stage 2: 자기 기울기 강제(SGF)를 사용하여 모델 자신의 자기회귀 롤아웃에서 학습함으로써, 슬라이딩 윈도우 추론을 통해 안정적인 장기 상호작용을 가능하게 합니다.

이 프레임워크는 프레임 정렬 메타데이터, 카메라 지오메트리, 캡션을 포함하는 143만 개의 클립(25 TB)으로 구성된 대규모 오픈소스 데이터셋을 기반으로 합니다.

대상 사용자

이 프로젝트는 비디오 생성 및 세계 모델을 연구하는 연구자와 개발자를 위해 설계되었으며, 대규모 비디오 백본을 학습, 미세 조정 또는 추론하기 위한 확장 가능하고 모듈화된 파이프라인이 필요한 사용자에게 적합합니다.

주요 특징

• 통합 프레임워크: 단일 코드베이스 내에서 서로 다른 아키텍처(Wan2.2, LTX-2.5, MiniMax-H3)의 5B–33B 파라미터 모델을 지원합니다.
• 오픈 데이터: 소스 데이터와 학습 혼합을 분리하는 유연한 처리 파이프라인을 갖춘 완전한 25 TB 데이터셋을 제공합니다.
• 장기 생성 능력: 슬라이딩 윈도우 추론을 사용하여 임의로 긴 비디오 시퀀스에 대해 적은 단계의 상호작용을 가능하게 합니다.
• 고급 렌더링: 구조 조건부 비디오 생성을 위한 SolarRenderer와의 통합을 포함합니다.