Dai-Wenxun/MotionLCM

해결하는 문제

MotionLCM은 기존 텍스트 조건부 인간 움직임 생성 모델의 런타임 비효율성을 해결합니다. 기존의 공간-시간 제어 방법은 느렸지만, MotionLCM은 텍스트 및 제어 신호로부터 실시간으로 제어 가능한 인간 움직임을 생성할 수 있습니다.

작동 방식

이 프로젝트는 움직임 잠재 확산 모델 위에 기반한 움직임 잠재 일관성 모델(MotionLCM)을 구현합니다. 1단계 또는 몇 단계의 추론을 사용하여 실시간 성능을 달성합니다. 제어 가능성을 유지하기 위해 잠재 공간 내에 움직임 ControlNet을 통합하고, 훈련 중에 명시적인 제어 신호(예: 초기 움직임)를 일반 움직임 공간에서 사용하여 감독을 제공합니다.

대상 사용자

이 도구는 인간 움직임 합성, 컴퓨터 애니메이션, AI 기반 캐릭터 제어 분야에서 일하는 연구자 및 개발자들을 위한 것입니다.

주요 특징

• 실시간 생성: 잠재 일관성 모델을 사용하여 추론 단계를 1단계 또는 몇 단계로 줄입니다.
• 제어 가능한 합성: 전용 ControlNet을 통해 텍스트에서 움직임 및 움직임 제어를 지원합니다.
• 포괄적인 파이프라인: 움직임 재구성, 텍스트에서 움직임 생성, SMPL 메시 렌더링을 위한 도구를 포함합니다.
• 유연한 제어: 특정 관절(예: 골반) 또는 동시에 여러 관절을 제어할 수 있습니다.