habitat-sim: embodied AI 연구를 위한 고성능 물리 기반 3D 시뮬레이터

해결하는 문제

Habitat-Sim은 embodied AI 연구를 위해 설계된 고성능 3D 시뮬레이터입니다. 느린 렌더링이나 복잡한 설정의 오버헤드 없이, 에이전트가 현실적인 실내외 공간에서 훈련 및 테스트될 수 있는 빠르고 물리 기능이 활성화된 환경의 필요성을 해결합니다.

작동 방식

실제 공간의 3D 스캔과 객체의 CAD 모델을 지원하는 시뮬레이션 엔진을 제공합니다. 강체 역학을 위해 Bullet Physics와 통합되며, RGB-D 카메라 및 egomotion sensing과 같은 구성 가능한 센서를 지원합니다. 이 시뮬레이터는 AI 훈련의 빠른 반복을 가능하게 하기 위해 초당 프레임 수(FPS)와 초당 단계 수(SPS)를 우선시하여 극한의 속도에 최적화되어 있습니다.

대상 사용자

주로 embodied AI를 연구하는 연구자 및 개발자, 특히 강화 학습 또는 모방 학습을 사용하여 내비게이션, 지시 따르기, 질의응답과 같은 작업을 수행하는 에이전트를 훈련시키는 사람들을 대상으로 합니다.

주요 특징

• 극한의 성능: 단일 GPU에서 초당 수천 프레임의 렌더링이 가능합니다.
• 광범위한 데이터셋 지원: HM3D, HSSD, Matterport3D, Gibson, 그리고 Replica를 포함한 주요 3D 데이터셋을 기본적으로 지원합니다.
• 물리 통합: Bullet Physics를 통해 강체 역학 및 관절 역학을 지원합니다.
• 로봇 범용성: 모바일 매니퓰레이터, 고정 베이스 암, 4족 보행 로봇을 포함하여 URDF를 통해 설명되는 다양한 로봇 구성을 지원합니다.