facebookresearch/habitat-sim

A flexible, high-performance 3D simulator for Embodied AI research.

What it solves

Habitat-Sim 是一個高效能的 3D 模擬器，專為具身 AI 研究而設計。它解決了需要快速、具物理功能的環境問題，讓代理能在真實的室內與室外空間中訓練與測試，且不會受到緩慢渲染或複雜設定的負擔。

How it works

它提供一個支援真實世界空間 3D 掃描與物件 CAD 模型的模擬引擎。它與 Bullet Physics 整合以實現剛體力學，並支援可配置的感測器，如 RGB-D 相機與自我運動感測。此模擬器針對極致速度進行最佳化，優先考慮每秒影格數 (FPS) 與每秒步數 (SPS)，以加速 AI 訓練的迭代。

Who it’s for

主要對象為從事具身 AI 研究與開發的研究人員與工程師，特別是使用強化學習或模仿學習訓練代理執行導航、指令遵循與問答等任務的人員。

Highlights

  • Extreme Performance: 能在單一 GPU 上渲染每秒數千影格。
  • Broad Dataset Support: 內建支援主要 3D 資料集，包括 HM3D、HSSD、Matterport3D、Gibson 與 Replica。
  • Physics Integration: 透過 Bullet Physics 支援剛體力學與關節動力學。
  • Robot Versatility: 支援以 URDF 描述的各種機器人配置，包括移動式操作手臂、固定基座機械臂與四足機器人。