allenai/molmospaces

해결하는 문제

MolmoSpaces는 로봇 조작 및 탐색을 위한 대규모 오픈 생태계를 제공하여, 다양한 고품질 시뮬레이션 환경과 데이터셋을 훈련 및 평가에 사용할 수 있도록 합니다. 이는 실제 세계에서 로봇이 제로샷 조작 능력을 갖추는 데 도움이 되는 막대한 양의 합성 데이터 생성을 가능하게 합니다.

작동 방식

이 프로젝트는 MuJoCo, Isaac, ManiSkill 등 여러 시뮬레이터 간의 장면 변환, 그립 생성, 벤치마크 평가를 위한 프레임워크를 제공합니다. Objaverse와 같은 다양한 객체 및 수작업 및 절차적 생성 환경을 포함한 방대한 자산 라이브러리를 관리하는 자산 관리자(Asset Manager)를 사용합니다. 사용자는 구성 파일을 정의하여 특정 작업(예: 집기, 열기, 닫기)에 대한 데이터 생성 또는 정책 평가를 수행할 수 있습니다.

대상 사용자

로봇 학습, 조작, 탐색에 종사하는 로봇 공학 연구자 및 개발자에게 적합하며, AI 정책 테스트를 위한 확장 가능한 시뮬레이션 자산과 표준화된 벤치마크를 필요로 합니다.

주요 특징

• 다중 시뮬레이터 지원: 자산은 MuJoCo, Isaac, ManiSkill과 호환됩니다.
• 대규모 자산 라이브러리: 129,000개 이상의 변환된 Objaverse 자산과 수천 개의 절차적 생성 장면을 포함합니다.
• 통합 벤치마크: 원자적 작업(예: 집기, 열기, 닫기)을 위한 전용 벤치마크와 관련 리더보드를 제공합니다.
• 원격 제어 지원: TeleDex iPhone 앱과 통합되어 시뮬레이션 내에서 실시간 로봇 제어가 가능합니다.
• GPU 가속: cuRobo를 지원하여 가속된 운동 계획이 가능합니다.