nv-tlabs/kimodo

Official implementation of Kimodo, a kinematic motion diffusion model for high-quality human(oid) motion generation.

What it solves

Kimodo는 고품질의 제어 가능한 3D 인간 및 로봇 동작을 생성하는 데 따르는 어려움을 해결합니다. 자연어 설명과 정밀한 운동학적 제약을 결합하여 복잡한한 애니메이션을 생성할 수 있으며, 이는 고수준 텍스트 프롬프트와 저수준 물리 제어 사이의 간극극을 메워줍니다.

Who it’s for

이 도구는 로보틱스, 컴퓨터 애니메이션, 그리고 물리 AI 분야의 연구자 및 개발자를 위해 설계되었습니다. 특히 물리 기반 정책(physics-based policies)을 훈련시키기 위한 합성 동작 데이터를 생성하거나 고정밀도 3D 애니메이션을 제작하는 데 필요한 사람들이 대상입니다.

How it works

Kimodo는 700시간의 광학식 모션 캡처 데이터셋으로 학습된 운동학적 확산 모델입니다. 3D 동작을 다양한 스켈레톤(SOMA, G1, SMPL-X)에 대해 텍스트 프롬프트와 일련의 제약 조건에 따라 생성합니다. 이러한 제약 조건에는 전신 포즈 키프레임, 말단 장치(end-effector) 위치(손/발), 그리고 지면 평면상의 2D 경로 또는 웨이포인트(waypoints)가 포함될 수 있습니다.

Highlights

  • Multi-Skeleton Support: SOMA, Unitree G1, 및 SMPL-X 스켈레톤을 지원합니다.
  • Interactive Authoring: 텍스트 프롬프트와 운동학적 제어를 혼합하여 사용할 수 있는 타임라인 에디터가 포함된 웹 기반 데모를 제공합니다.
  • n/a n/a
  • Robotics Integration: MuJoCo 시각화 및 ProtoMotions 물리 기반 정책 훈련을 위한 호환성을 제공합니다.
  • **n/ ‖‖‖‖‖‖‖‖ⷞ‖‖‖‖‖‖‖‖ⷞ‖‖‖

_n/a

  • Comprehensive Benchmark: 표준화된 평가 파이프라인과 테스트 수이트를 제공하여 동작 품질과 제약 조건 준수 여부를 측정합니다.
  • Flexible Control: 다양한 제약 조건을 지원합니다. 말단 장치 제어 및 2D 루트 트랙토리(root trajectories)를 포함합니다.