nv-tlabs/ardy

해결하는 문제

ARDY (Autoregressive Diffusion with Hybrid Representation)는 텍스트 프롬프트와 특정 공간적 제약 조건 모두에 실시간으로 반응하는 사실적이고 대화형인 인간 모션을 생성하는 문제를 해결합니다. 사용자는 자연어를 사용하여 캐릭터의 움직임을 안내하는 동시에 발 위치, 루트 궤적 또는 특정 신체 자세와 같은 정밀한 운동학적 요구 사항을 강제할 수 있습니다.

작동 방식

ARDY는 모션을 연속적인 실시간 스트림으로 처리하는 자기회귀 확산 모델을 사용합니다. LLM2Vec을 통한 대규모 언어 모델과 외부 입력에 의해 제약될 수 있는 모션 생성 엔진을 결합합니다. 이 시스템은 '온라인' 생성을 지원하므로 사용자가 새로운 웨이포인트, 속도 목표 또는 키프레임 제약을 제공할 때 즉석에서 캐릭터의 움직임을 조정할 수 있습니다. 브라우저 기반 대화형 데모와 배치 처리를 위한 명령줄 인터페이스가 포함되어 있습니다.

대상 사용자

이 프로젝트는 캐릭터 애니메이션, 로봇 시뮬레이션 또는 대화형 가상 환경을 연구하고 개발하며, 고충실도의 제어 가능한 모션 합성 시스템이 필요한 연구자와 개발자를 위한 것입니다.

주요 특징

• 마우스, 키보드 및 스트리밍 텍스트 프롬프트를 통한 실시간 대화형 제어.
• 루트 경로, 웨이포인트, 전신 키프레임 및 엔드 이펙터 위치를 포함한 유연한 제약 조건 지원.
• 휴머노이드 및 Unitree G1과 같은 특정 로봇 플랫폼을 포함한 다중 스켈레톤 유형 지원.
• 실시간 모션 시각화 및 제어를 위한 대화형 웹 기반 GUI 포함.
• 낮은 지연 시간 성능을 보장하기 위한 TensorRT 가속 옵션 제공.