facebookresearch/spider

해결하는 문제

SPIDER는 물리 기반 리타겟팅을 위한 범용 프레임워크를 제공하여, 인간 비디오의 동작을 정교한 손과 휴머노이드 로봇을 포함한 다양한 로봇 신체로 전송할 수 있게 합니다. 이는 물리적 구조와 제약 조건이 다를 수 있는 로봇 하드웨어에 인간의 움직임을 매핑하는 문제를 해결합니다.

작동 원리

이 프레임워크는 물리 정보를 활용한 파이프라인을 사용하여 인간 비디오 데이터를 로봇 동작으로 변환합니다. 이 과정에는 원시 데이터셋을 통합된 스키마로 처리, 객체 분해, 접촉 감지, 장면 XML 생성, 그리고 운동학적 및 물리 기반 리타겟팅 수행과 같은 여러 단계가 포함됩니다. 여러 시뮬레이터(Mujoco Wrap, Genesis, IsaacGym 등)를 지원하며, 강화 학습(RL) 및 행동 복제(BC)를 위한 다양한 하위 학습 파이프라인과 통합됩니다.

대상 사용자

이 도구는 정교한 조작 및 휴머노이드 로봇 제어를 연구하는 로봇 공학 연구자와 개발자, 특히 인간의 시연을 실행 가능한 로봇 궤적으로 변환하려는 분들을 위해 설계되었습니다.

주요 특징

• 광범위한 신체 지원: 9개 이상의 로봇과 6개의 데이터셋을 즉시 지원.
• 물리 기반: 정교한 손과 휴머노이드 로봇 모두를 위한 최초의 범용 물리 기반 리타겟팅 파이프라인.
• Sim2Real 준비 완료: 실제 로봇에 배포할 수 있도록 설계.
• 유연한 통합: 여러 시뮬레이터를 기본 지원하며, RL 학습 및 데이터 증강과 원활하게 통합 가능.