habitat-lab: 실내 환경에서 embodied AI 에이전트를 훈련하고 평가하기 위한 모듈형 프레임워크

해결하는 문제

habitat-lab은 embodied AI의 엔드투엔드 개발을 위한 모듈형 프레임워크를 제공합니다. 이는 내비게이션, 객체 재배치, 인간의 지시 따르기 등 실내 환경에서 복잡한 작업을 수행하도록 에이전트를 훈련시키는 과제를 해결하는 동시에, 성능을 평가하고 인간이 시뮬레이션과 상호작용할 수 있는 도구를 제공합니다.

작동 방식

habitat-sim 코어 시뮬레이터를 기반으로 구축된 이 라이브러리는 개발자가 다음과 같은 작업을 수행할 수 있도록 합니다:

• 작업 정의: 질의응답, 인간 추적, 내비게이션을 포함한 유연한 단일 또는 다중 에이전트 작업을 생성합니다.
• 에이전트 구성: 센서와 기능을 지정하여 휴머노이드부터 상업용 로봇에 이르기까지 다양한 embodied 에이전트를 인스턴스화합니다.
• 훈련 및 평가: 제공된 강화 학습 알고리즘(PPO 베이스라인 포함), 모방 학습 또는 비학습 파이프라인(SensePlanAct)을 사용하여 에이전트를 훈련시키고 표준 지표를 사용하여 벤치마크를 수행합니다.
• 인간 상호작용: 인간이 시뮬레이터와 상호작용하여 데이터를 수집하거나 훈련된 에이전트를 테스트할 수 있는 프레임워크를 사용합니다.

대상 사용자

이 프로젝트는 embodied AI, 로보틱스 시뮬레이션, 그리고 자율 에이전트와 실내 환경 간의 상호작용을 연구하는 AI 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 모듈형 설계: 다양한 작업 정의 및 에이전트 구성을 지원합니다.
• 다양한 에이전트 지원: 다양한 로봇 유형 및 휴머노이드 모델과 호환됩니다.
• 통합된 베이스라인: PPO를 통한 강화 학습 베이스라인을 포함합니다.
• Human-in-the-Loop: 데이터 수집을 위해 시뮬레이션된 환경과 인간의 직접적인 상호작용을 가능하게 합니다.