kimodo: 제어 가능한 3D 인간 및 로봇 동작 생성을 위한 운동학적 모션 디퓨전 모델

해결하는 문제

Kimodo는 고품질의 제어 가능한 3D 인간 및 로봇 동작을 생성하는 데 따르는 어려움을 해결합니다. 자연어 설명과 정밀한 운동학적 제약 조건을 결합하여 사용자가 복잡한 애니메이션을 생성할 수 있도록 하며, 고수준의 텍스트 프롬프트와 저수준의 물리적 제어 사이의 간극을 메웁니다.

작동 방식

Kimodo는 700시간 분량의 광학 모션 캡처 대규모 데이터셋으로 학습된 운동학적 모션 디퓨전 모델입니다. 텍스트 프롬프트와 일련의 제약 조건을 기반으로 다양한 스켈레톤(SOMA, G1, SMPL-X)에 대한 3D 동작을 생성합니다. 이러한 제약 조건에는 전신 포즈 키프레임, 말단 장치(end-effector) 위치(손/발), 그리고 지면 평면상의 2D 경로 또는 웨이포인트가 포함될 수 있습니다.

대상 사용자

이 도구는 로보틱스, 컴퓨터 애니메이션, 물리 AI 분야에서 연구하는 연구원 및 개발자, 특히 물리 기반 정책을 학습시키기 위한 합성 모션 데이터를 생성하거나 고충실도 3D 애니메이션을 제작해야 하는 분들을 위해 설계되었습니다.

주요 특징

• 다중 스켈레톤 지원: SOMA, Unitree G1, SMPL-X 스켈레톤과 함께 작동합니다.
• 대화형 저작 도구: 텍스트 프롬프트와 운동학적 제어를 혼합할 수 있는 타임라인 에디터가 포함된 웹 기반 데모를 제공합니다.
• 로보틱스 통합: 시각화를 위한 MuJoCo 및 물리 기반 정책 학습을 위한 ProtoMotions와 호환됩니다.
• 포괄적인 벤치마크: 동작 품질과 제약 조건 준수 여부를 측정하기 위한 표준화된 평가 파이프라인 및 테스트 스위트를 제공합니다.
• 유연한 제어: 말단 장치 제어 및 2D 루트 궤적을 포함한 다양한 제약 조건을 지원합니다.