AlayaLab/AlayaWorld

AlayaWorld – 플레이 가능한 장기 비디오 생성

기능 – AlayaWorld는 단일 시작 이미지, 카메라 궤적 및 텍스트 프롬프트에서 수 분 길이의 3D 일관된 비디오를 생성할 수 있는 연구용 비디오 월드 모델입니다. 실시간 상호 작용을 지원합니다. 비디오가 생성되는 동안 키보드로 가상 카메라를 조종하고 프롬프트를 변경할 수 있습니다.

중요성 – 대부분의 비디오 생성 모델은 짧은 클립을 생성하거나 시간이 지남에 따라 공간 일관성을 잃습니다. AlayaWorld는 세 가지 어려운 문제를 동시에 해결합니다:

• 상호 작용 – 가벼운 AdaLN 기반 카메라 컨트롤러를 사용하면 시점을 즉시 이동할 수 있습니다.
• 일관성 – 3D 캐시와 압축된 프레임 기록 임베딩을 통해 긴 롤아웃에서 재방문한 위치를 인식할 수 있습니다.
• 안정성 – 드리프트된 기록에 대한 훈련과 오류 뱅크 메커니즘은 분 단위 시퀀스에서 시각적 아티팩트가 누적되는 것을 방지합니다.
• 런타임 – 증류된 몇 단계 DMD 학생 모델이 실시간으로 실행되어 플레이 가능한 경험을 제공합니다.

주요 구성 요소

구성 요소	역할	주목할 만한 기술
월드 모델 코어 (alaya/)	구성, 데이터 처리, 메모리 구조, 트레이너 로직	자기회귀(AR) + 증류 모션 디퓨전(DMD) 파이프라인
LTX‑2.3 스택 (ltx2/)	기본 트랜스포머, VAE, 텍스트 인코더	DiT 스타일 트랜스포머, Gemma‑3 텍스트 인코더
Depth‑Anything‑3 (DA3)	AR 경로에 깊이 인식 공간 메모리 제공	외부 저장소, third_party/Depth-Anything-3을 통해 통합
ViGeo	v1.1 버전에서 사용되는 공간 메모리 백본	사전 훈련된 체크포인트 ViGeo1.1
Reactor (reactor/)	카메라를 이동하고 프롬프트를 전환할 수 있는 라이브 브라우저 스트림으로 모델 제공	Docker 기반 서버
훈련 단계	0단계: 캐시 생성, 1단계: 양방향 사전 훈련, 2a단계: 기록 인코더, 2b단계: AR 미세 조정, 3단계: DMD 증류	단일 통합 런처 (scripts/finetune/train.sh)

사용 방법

1. 설치 – 하나의 Python 환경(PyTorch 2.7.1 + CUDA 12.8에서 테스트). DA3 저장소를 클론하고 편집 가능한 모드로 설치합니다.
2. 가중치 다운로드 – 주요 추론 번들(merged_infer.safetensors) 및 단계별 체크포인트는 Hugging Face에서 호스팅됩니다(README의 링크).
3. 추론 실행 – 4개의 진입점이 제공됩니다:
   • 케이스 데모 (DA3) – 실시간 플레이 가능 스트림 (inference/run.sh).
   • AR 교사 – 전체 공간 메모리를 사용한 30단계 자기회귀 생성.
   • DMD 학생 – 4단계 증류 생성(빠르고 실시간).
   • 양방향 I2V – 카메라 궤적 없는 이미지-비디오 생성.
4. 브라우저 데모로 플레이 – reactor Docker 이미지를 빌드하고 reactor run을 실행합니다. 모델이 비디오를 스트리밍하는 동안 카메라를 조종하고 프롬프트를 전환할 수 있는 UI를 엽니다.
5. 훈련 – configs/의 단계별 스크립트와 docs/vigeo/의 핸드북을 따르세요. 부분 훈련 데이터도 Hugging Face에서 사용할 수 있습니다.

공개 내용

• 네 가지 경로 모두에 대한 전체 추론 코드.
• AR 교사, DMD 학생 및 공유 1단계 양방향 Transformer에 대한 사전 훈련된 가중치.
• 부분 훈련 데이터 세트 및 전체 훈련 핸드북.
• 대화형 브라우저 데모 (reactor).

라이선스 – 코드와 가중치는 LTX-2 커뮤니티 라이선스(비상업적, 학술적 용도 전용)에 따라 공개됩니다. 타사 모델(Gemma‑3, Depth‑Anything‑3)은 자체 라이선스에 따라 획득해야 합니다.

개발자 – Alaya Lab(핵심 리더: Kaipeng Zhang 및 Chuanhao Li) 및 연구원 및 엔지니어 팀.

---

자세한 내용은 README에 링크된 프로젝트 페이지, 3개의 arXiv 보고서 및 Hugging Face 모델 카드를 참조하세요.