facebookresearch/habitat-sim

A flexible, high-performance 3D simulator for Embodied AI research.

What it solves

Habitat-Sim 是一个高性能的 3D 模拟器，专为具身 AI 研究而设计。它解决了需要快速、具物理功能的环境问题，让代理能够在真实的室内和室外空间中训练和测试，而不会受到慢速渲染或复杂设置的负担。

How it works

它提供一个支持真实世界空间 3D 扫描和对象 CAD 模型的模拟引擎。它与 Bullet Physics 集成以实现刚体力学，并支持可配置的传感器，如 RGB-D 相机和自运动感知。该模拟器针对极致速度进行优化，优先考虑每秒帧数 (FPS) 和每秒步数 (SPS)，以加速 AI 训练的迭代。

Who it’s for

主要面向从事具身 AI 研究与开发的研究人员和开发者，尤其是使用强化学习或模仿学习训练代理执行导航、指令遵循和问答等任务的人群。

Highlights

  • Extreme Performance: 能在单个 GPU 上实现每秒数千帧的渲染。
  • Broad Dataset Support: 内置支持主要 3D 数据集，包括 HM3D、HSSD、Matterport3D、Gibson 和 Replica。
  • Physics Integration: 通过 Bullet Physics 支持刚体力学和关节动力学。
  • Robot Versatility: 支持通过 URDF 描述的各种机器人配置，包括移动操作臂、固定基座机械臂和四足机器人。