AlayaLab/AlayaWorld

해결하는 문제

AlayaWorld는 긴 시간 동안 일관성 있는 동영상을 인터랙티브하고 재생 가능한 형태로 생성하는 문제를 해결합니다. 일반적으로 긴 동영상 생성 중에 누적되는 '드리프트'와 시각적 아티팩트를 해결하여, 다시 방문한 장소가 인식 가능하고 환경이 분 단위의 시퀀스 동안 안정적으로 유지되도록 보장합니다.

작동 방식

AlayaWorld는 공간적 및 시간적 기억을 결합하여 일관성을 유지하는 자기회귀 세계 모델입니다. 공간적 재인용을 위해 3D 캐시(현재 뷰로 재투영)를 사용하고, 시간적 연속성을 위해 압축된 프레임 기록 임베딩을 활용합니다. 오류가 누적되는 것을 방지하기 위해 '오류 은행'을 사용하여 아티팩트를 다시 학습 프로세스에 재주입합니다. 실시간 성능을 위해 생성에 필요한 단계 수를 줄이기 위해 소수 단계 DMD 증류를 사용하여, 청크 경계에서 실시간 카메라 제어 및 프롬프트 전환을 가능하게 합니다.

대상 사용자

이 프로젝트는 동영상 생성, 세계 모델, 인터랙티브 AI 환경 분야에서 연구 및 개발에 종사하는 연구자와 개발자를 대상으로 합니다.

주요 특징

• 인터랙티브 제어: 키보드를 통한 실시간 카메라 탐색 및 중간 프롬프트 전환을 지원합니다.
• 장시간 안정성: 특화된 기억 시스템과 오류 주입 학습을 통해 분 단위의 동영상에서도 시각적 일관성을 유지합니다.
• 실시간 성능: DMD 증류와 짧은 시간 청크를 통해 낮은 지연 시간의 상호작용을 달성합니다.
• 포괄적인 파이프라인: 여러 단계의 사전학습 및 SFT를 포함한 완전한 스택의 트레이닝 및 추론 코드를 제공합니다.