yaoyao-jpg/PhiZero

무엇을 해결하는가

PhiZero는 미래의 물리적 역학을 추론하도록 설계된 월드 모델입니다. 이 모델은 결과를 비디오로 렌더링하기 전에 이산적인 "Physical Language"에서 먼저 추론함으로써, 실제 세계에서 물체가 어떻게 움직이고 상호작용하는지 예측하는 과제를 해결합니다.

작동 방식

시스템은 추론과 렌더링이라는 두 가지 주요 단계로 작동합니다. Physical Language Reasoner (Qwen3-VL 기반)는 첫 번째 프레임과 텍스트 캡션을 기반으로 256개의 이산적인 모션 토큰(Physical Language) 시퀀스를 예측합니다. 그런 다음 Diffusion Decoder가 이 토큰들과 첫 번째 프레임을 가져와 예측된 움직임을 비디오로 렌더링합니다. 이 모델은 다단계 워크플로우를 통해 학습될 수 있습니다: Physical Language를 생성하기 위한 토크나이저 학습, 비디오에서 정답(ground truth) 토큰 추출, 해당 토큰을 예측하도록 Reasoner를 학습, 그리고 선택적으로 로보틱스와 같은 특정 도메인에 디코더를 적응시키는 과정입니다.

대상 사용자

이 프로젝트는 월드 모델, 물리적 AI, 비디오 생성 분야에서 연구하는 연구원 및 개발자, 특히 모션 트랜스퍼(예: human-to-robot 또는 sim-to-real)와 물리적 추론에 관심이 있는 사람들을 대상으로 합니다.

주요 특징

• Physical Language: 추론과 렌더링을 분리하기 위해 움직임의 이산적인 토큰화된 표현을 사용합니다.
• Motion Transfer: 소스 비디오의 움직임을 다른 대상 객체나 환경으로 전달하는 것을 지원합니다(예: ego-to-dexterous robot).
• Reason-then-Render: 움직임의 물리적 예측을 최종 픽셀 생성으로부터 분리합니다.
• Domain Adaptation: 재구성 학습을 통해 모델을 특정 물리적 도메인에 적응시키는 도구를 포함합니다.