habitat-sim: 用于具身智能研究的高性能、支持物理特性的 3D 模拟器

它解决了什么问题

Habitat-Sim 是一个专为具身智能研究设计的高性能 3D 模拟器。它解决了对快速、支持物理特性的环境的需求，使智能体可以在真实的室内外空间中进行训练和测试，而无需承担缓慢渲染或复杂设置带来的开销。

它是如何工作的

它提供了一个支持真实世界空间 3D 扫描和物体 CAD 模型的模拟引擎。它集成了 Bullet Physics 用于刚体动力学，并支持可配置的传感器，例如 RGB-D 相机和自我运动感知（egomotion sensing）。该模拟器针对极速进行了优化，优先考虑每秒帧数 (FPS) 和每秒步数 (SPS)，以实现 AI 训练中的快速迭代。

它是面向谁的

它主要面向从事具身智能研究的研究人员和开发人员，特别是那些使用强化学习或模仿学习来训练智能体执行导航、指令遵循和问答等任务的人员。

亮点

• 极高性能: 能够在单个 GPU 上每秒渲染数千帧。
• 广泛的数据集支持: 内置对主要 3D 数据集的支持，包括 HM3D、HSSD、Matterport3D、Gibson 和 Replica。
• 物理集成: 通过 Bullet Physics 支持刚体动力学和关节动力学。
• 机器人多样性: 支持通过 URDF 描述的各种机器人配置，包括移动操作器、固定基座机械臂和四足机器人。