facebookresearch/habitat-lab

What it solves

Habitat-Lab은 embodied AI의 엔드투엔드 개발을 위한 모듈형 프레임워크를 제공합니다. 내비게이션, 물체 재배치, 인간의 지시 따르기 등 실내 환경에서 에이전트가 복잡한 작업을 수행하도록 훈련하는 과제를 해결하며, 성능을 평가할 수 있는 도구와 인간이 시뮬레이션과 상호작용할 수 있는 기능을 제공합니다.

How it works

Habitat-Sim 코어 시뮬레이터를 기반으로 구축된 이 라이브러리는 개발자가 다음과 같은 작업을 수행할 수 있도록 합니다:

• Define Tasks: Create flexible single or multi-agent tasks including question answering, human following, and navigation.
• Configure Agents: Instantiate various embodied agents, ranging from humanoids to commercial robots, by specifying their sensors and capabilities.
• Train and Evaluate: Use provided algorithms for reinforcement learning (including PPO baselines), imitation learning, or non-learning pipelines (SensePlanAct) to train agents and benchmark them using standard metrics.
• Human Interaction: Use a framework that lets humans interact with the simulator to collect data or test trained agents.

Who it’s for

이 프로젝트는 embodied AI, 로보틱스 시뮬레이션, 그리고 자율 에이전트와 실내 환경 간의 상호작용을 연구하는 AI 연구자 및 개발자를 위해 설계되었습니다.

Highlights

• Modular Design: Supports a wide variety of task definitions and agent configurations.
• Diverse Agent Support: Compatible with various robot types and humanoid models.
• Integrated Baselines: Includes reinforcement learning baselines via PPO.
• Human-in-the-Loop: Enables direct human interaction with the simulated environment for data collection.