mani-skill/ManiSkill

해결하는 문제

ManiSkill은 조작 작업에서 로봇을 훈련시키기 위한 고성능 시뮬레이션 프레임워크입니다. 전통적인 CPU 기반 시뮬레이터에 비해 물리 계산과 시각 렌더링 모두를 GPU 병렬 처리를 통해 가속화함으로써 데이터 수집 및 시뮬레이션의 성능 저하 문제를 해결하여, 몸체 기반 AI 모델의 훈련 속도를 크게 향상시킵니다.

작동 방식

SAPIEN을 기반으로 하며, GPU 병렬 시뮬레이션과 시각 데이터 수집(RGBD 및 세그멘테이션)을 지원합니다. 다양한 시뮬레이션 환경을 동시에 실행할 수 있는 이질적 시뮬레이션(Heterogeneous Simulation)을 지원하며, GPU 메모리 관리를 간소화하는 작업 빌드 API를 제공합니다. 또한, 실제 세계 정책을 시뮬레이션에서 평가하는 Real2sim과 시뮬레이션된 정책을 실제 로봇에 배포하는 Sim2real을 위한 도구도 포함하고 있습니다.

대상 사용자

강화학습, 모방학습, 또는 시각-언어-행동(VLA) 모델을 사용하여 조작 기술을 연구하는 로봇 학습 분야의 연구자 및 개발자에게 적합합니다.

주요 특징

• 극도의 높은 처리량: 단일 NVIDIA 4090 GPU에서 30,000 FPS 이상의 시각 데이터 수집이 가능합니다.
• 다양한 로봇 형태 지원: 휴머노이드, 모바일 매니퓰레이터, 단일 암 로봇 등 다양한 로봇을 지원합니다.
• 광범위한 작업 범위: 테이블탑 작업, 그림 그리기, 청소, 정교한 조작 등 다양한 환경을 제공합니다.
• 통합된 베이스라인: PPO, SAC, Diffusion Policy 및 Octo, RDT-1B와 같은 대규모 VLA 모델용으로 최적화된 베이스라인을 포함합니다.