allenai/molmospaces

해결하는 문제

MolmoSpaces는 로봇 조작 및 내비게이션 훈련과 평가를 위한 대규모의 개방형 에코시스템을 제공합니다. 이는 로봇 AI를 위한 고품질의 다양한 시뮬레이션 자산과 표준화된 벤치마크의 부족을 해결하여, 연구자들이 여러 시뮬레이터에서 합성 데이터를 생성하고 정책을 테스트할 수 있게 합니다.

작동 방식

이 프로젝트는 MuJoCo, Isaac Sim, ManiSkill과 호환되는 포괄적인 자산 라이브러리(Objaverse 및 수작업 세트의 수천 개 3D 객체와 절차적 생성 또는 LLM 생성의 다양한 장면 포함)를 제공합니다. 실험 구성을 사용하여 로봇, 작업, 장면을 정의하는 데이터 생성 파이프라인과 원자적 로봇 작업의 성능을 측정하는 벤치마크 평가 시스템이 포함되어 있습니다.

대상 사용자

구현 지능(embodied intelligence)을 연구하는 로봇 연구자 및 AI 개발자, 특히 로봇 조작, 내비게이션, 그리고 로봇 정책을 위한 합성 훈련 데이터 생성에 초점을 맞춘 사람들.

주요 특징

• 다중 시뮬레이터 지원: 자산은 MuJoCo, Isaac, ManiSkill에서 사용 가능.
• 대규모 자산 라이브러리: 129,000개 이상의 변환된 Objaverse 자산과 수천 개의 수작업 실내 객체 포함.
• 다양한 장면 생성: 절차적 생성 장면 및 LLM 생성 환경 지원.
• 통합 벤치마킹: 리더보드가 있는 원자적 작업 평가용 전용 벤치마크 제공.
• 원격 조작 지원: TeleDex 앱과의 통합을 통한 스마트폰 기반 로봇 제어.