zju3dv/MotionStreamer
[ICCV 2025] MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space
해결하는 문제
MotionStreamer은 텍스트 설명에서 인간의 움직임 시퀀스를 스트리밍 방식으로 생성하는 문제를 해결합니다. 지속적인 움직임 생성을 가능하게 하여, 텍스트로 설명된 다양한 동작 간의 전환을 더 부드럽고 원활하게 만듭니다.
작동 방식
이 시스템은 인과적 잠재 공간 내에서 작동하는 확산 기반 자기회귀 모델을 사용합니다. 파이프라인은 다음과 같은 단계로 구성됩니다:
- 인과적 TAE: 인과적 시계열 오토인코더(TAE)는 움직임을 인과적 잠재 공간으로 인코딩하여, 잠재 표현이 과거 및 현재 프레임에만 기반하도록 보장합니다.
- 움직임 생성: 모델은 Llama 블록, "Two-Forward" 전략, QK-Norm을 사용하여 텍스트 임베딩(문장-T5-XXL 제공)에서 움직임 잠재 변수를 생성합니다.
- 스트리밍 지원: BABEL-stream과 같은 처리된 스트리밍 데이터셋으로 훈련함으로써, 모델은 부분 시퀀스 간에 일관되고 연속적인 움직임 시퀀스를 생성하는 능력을 습득합니다.
대상 사용자
컴퓨터 비전, 3D 인간 움직임 합성, 게임 또는 가상현실용 캐릭터 애니메이션 분야에서 일하는 연구자 및 개발자.
주요 특징
- 스트리밍 생성: 텍스트 입력에 기반하여 연속적인 움직임 시퀀스를 생성할 수 있습니다.
- 인과적 잠재 공간: 인과적 TAE를 사용하여 시간적 일관성을 보장하고, 생성 중 미래 정보가 유출되는 것을 방지합니다.
- IK 필요 없음: 272차원의 움직임 표현을 사용하여 복원 시 역운동학(IK)이 필요하지 않습니다.
- 통합 평가: FID 및 다양성과 같은 지표를 통해 품질을 측정하는 TMR 기반의 움직임 평가기 포함.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트