Tencent-Hunyuan/HY-WorldPlay

해결하는 문제

HY-World 1.5 (WorldPlay)는 상호작용형 세계 모델링에서 생성 속도와 메모리 간의 트레이드오프를 해결합니다. 장기적인 기하학적 일관성을 유지하면서 실시간으로 상호작용 가능한 몰입형 3D 세계를 생성하는 문제를 해결하며, 장기적인 비디오 생성에서 흔히 발생하는 '메모리 감쇠' 또는 드리프트를 피합니다.

작동 방식

WorldPlay는 여러 핵심 아키텍처 설계를 사용하여 목표를 달성하는 스트리밍 비디오 확산 모델입니다:

• 이중 액션 표현: 키보드 및 마우스 입력을 통해 세계를 견고하게 제어할 수 있습니다.
• 재구성된 컨텍스트 메모리: 과거 프레임에서 컨텍스트를 동적으로 재구성하고, 시간적 재프레임링을 사용하여 기하학적으로 중요한 프레임을 항상 접근 가능하게 유지합니다.
• WorldCompass: 강화학습(RL) 기반의 포스트트레이닝 프레임워크로, 액션 추종성과 시각 품질을 향상시킵니다.
• 컨텍스트 강제: 교사 모델과 학습자 모델 간의 메모리 컨텍스트를 일치시키는 증류 기법으로, 오류 드리프트 없이 실시간 속도를 가능하게 합니다.

시스템은 16프레임 단위로 비디오를 생성하며, 사용자 액션과 재구성된 메모리를 기반으로 다음 청크를 예측합니다.

대상 사용자

이 프로젝트는 3D 세계 모델링, 상호작용형 AI 환경, 실시간 비디오 생성에 종사하는 연구자 및 개발자, 그리고 실제 및 스타일화된 환경에서 1인칭 및 3인칭 시점 시뮬레이션에 관심 있는 사람들에게 적합합니다.

주요 특징

• 실시간 성능: 24 FPS로 장기적인 스트리밍 비디오를 생성합니다.
• 포괄적인 프레임워크: 데이터, 학습, RL 포스트트레이닝, 추론 배포까지 전체 파이프라인을 오픈소스로 제공합니다.
• 유연한 제어: w-31과 같은 포즈 문자열을 사용해 직관적인 카메라 궤적 제어를 지원합니다.
• 다양한 모델 옵션: 다양한 속도와 품질의 트레이드오프에 대응하는 양방향, 자기회귀, 증류 모델을 제공합니다.