Tencent-Hunyuan/HY-World-2.0

해결하는 문제

HY-World 2.0은 동영상 기반 월드 모델의 한계를 해결합니다. 기존 모델은 재생 후 사라지는 편집 불가능한 픽셀 동영상만 생성합니다. 반면, HY-World 2.0은 Unity, Unreal Engine, Blender와 같은 게임 엔진에 직접 통합할 수 있는 지속적이고 편집 가능한 3D 자산(메시, Gaussian Splattings, 포인트 클라우드)을 생성하여 무제한 재생 시간과 본질적인 3D 일관성을 가능하게 합니다.

작동 방식

이 프레임워크는 주로 두 가지 주요 기능을 제공합니다:

1. 월드 생성: 텍스트 또는 단일 이미지를 3D 월드로 변환하는 4단계 파이프라인을 사용합니다.
   • 파노라마 생성 (HY-Pano 2.0): 360° 뷰를 생성합니다.
   • 트래잭토리 계획 (WorldNav): 장애물 인식을 통해 카메라 이동 경로를 계획합니다.
   • 월드 확장 (WorldStereo 2.0): 월드의 키프레임을 생성합니다.
   • 월드 조합 (WorldMirror 2.0 + 3DGS 학습): 최종 3D 표현을 조합합니다.
2. 월드 재구성: WorldMirror 2.0은 단일 패스로 다중 뷰 이미지 또는 동영상을 입력받아 깊이, 표면 법선, 카메라 파라미터, 3D 포인트 클라우드, 3DGS 속성을 예측하는 피드포워드 모델입니다.

대상 사용자

3D 장면 생성, 디지털 트윈 제작, 게임 개발에 종사하는 연구자 및 개발자에게 적합합니다. 단순한 동영상 클립이 아닌, 탐색 가능하고 물리적 일관성을 갖춘 3D 환경이 필요한 사용자를 위한 것입니다.

주요 특징

• 실제 3D 자산: 평면 동영상이 아닌 3DGS와 메시를 생성하여 소비자 GPU에서 실시간 렌더링이 가능합니다.
• 즉시 재구성: 통합된 피드포워드 모델을 사용해 일상적인 동영상이나 사진에서 디지털 트윈을 생성할 수 있습니다.
• 인터랙티브 탐색: 생성된 월드 내에서 1인칭 및 3인칭 탐색이 가능하며, 물리 기반 충돌 감지도 지원합니다.
• 엔진 호환성: Blender, Unity, Unreal Engine, Isaac Sim에 직접 가져올 수 있는 자산을 제공합니다.