nv-tlabs/kimodo

해결하는 문제

Kimodo는 고품질의 제어 가능한 3D 인간 및 로봇 모션을 생성하는 문제를 해결합니다. 사용자는 자연어 텍스트 프롬프트와 관절 위치, 엔드 이펙터 타겟(손/발), 지면 경로와 같은 정밀한 운동학적 제약을 결합하여 특정 애니메이션을 만들 수 있습니다.

작동 원리

Kimodo는 대규모 모션 캡처 데이터셋(700시간 분량의 Rigplay 데이터)으로 학습된 운동학적 모션 확산 모델입니다. 텍스트 설명과 선택적인 공간 제약을 입력으로 받아 확산 과정을 통해 모션 시퀀스를 반복적으로 정교화합니다. SOMA (humanoid), Unitree G1, SMPL-X를 포함한 다양한 스켈레톤 타입을 지원하며, 사용자가 모션을 작성하고 미리 볼 수 있는 웹 기반의 대화형 타임라인 에디터를 제공합니다.

대상 사용자

이 프로젝트는 시뮬레이션이나 휴머노이드 제어 정책 학습과 같은 하위 작업을 위해 사실적인 모션 데이터를 생성해야 하는 로봇 공학, 캐릭터 애니메이션, 물리 AI 분야의 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 멀티모달 제어: 텍스트 기반 모션 생성과 키프레임 및 2D 웨이포인트와 같은 세밀한 운동학적 제약을 결합합니다.
• 대화형 저작 도구: 타임라인 기반 모션 편집 및 실시간 3D 시각화를 위한 로컬 웹 GUI가 포함되어 있습니다.
• 로봇 호환성: MuJoCo 및 ProtoMotions와 같은 다른 로봇 프레임워크와 호환되는 형식으로 직접 내보내기를 지원합니다.
• 표준화된 벤치마킹: 모션 품질과 제약 조건 준수 정확도를 측정하기 위한 포괄적인 평가 제품군과 테스트 케이스를 제공합니다.
• 유연한 추론: 배치 생성을 위한 고수준 CLI와 사용자 정의 통합을 위한 저수준 Python API를 모두 제공합니다.