NVlabs/GRAIL

해결하는 문제

GRAIL은 이동( locomotion )과 객체 조작( manipulation )을 결합한 복잡한 작업을 수행하는 휴머노이드 로봇을 위한 고품질의 미터법 4D 훈련 데이터를 얻는 어려움을 해결합니다. 값비싼 실제 데이터 수집에 의존하는 대신, 이 데이터를 합성하기 위한 완전히 디지털 파이프라인을 제공합니다.

작동 방식

GRAIL은 다단계 파이프라인을 사용하여 합성 훈련 데이터를 생성합니다:

1. 3D 자산 생성: 절차적 지형(예: 계단) 또는 AI 생성 3D 객체를 만듭니다.
2. 2D HOI 생성: 3D 자산, 시뮬레이터 준비 장면, 비디오 기반 모델(예: Kling 또는 MiniMax-H3)을 결합하여 2D 인간-객체 상호작용(HOI) 비디오를 만듭니다.
3. 4D HOI 재구성: 이러한 2D 비디오를 미터법 4D 궤적으로 변환합니다.
4. 리타게팅: 이러한 궤적을 특정 로봇(예: Unitree G1 휴머노이드)에 매핑합니다.
5. 정책 훈련: 물체 집기, 앉기, 지형 이동과 같은 활동을 위한 작업 일반 정책을 훈련합니다.

대상 사용자

휴머노이드 로코-조작 및 시뮬레이션-실제 전이를 연구하는 로봇 공학 연구자와 개발자, 특히 시각 정책 훈련을 위한 대규모 합성 데이터 세트를 생성하려는 사람들.

주요 특징

• 완전 디지털 파이프라인: 3D 자산과 비디오 사전 분포에서 4D 궤적을 합성합니다.
• 시뮬레이션-실제 전이: GRAIL 데이터로만 훈련된 정책은 실제 세계의 물체 집기와 계단 오르기에 성공적으로 전이되었습니다.
• 비디오 기반 모델 통합: 외부 비디오 모델을 활용하여 현실적인 상호작용 사전 분포를 생성합니다.
• 작업 일반 능력: 테이블 위 및 바닥 집기, 앉기, 경사/계단 이동을 포함한 다양한 동작을 지원합니다.