habitat-sim:一個高效能、具物理模擬的 3D 模擬器,供具身 AI 研究使用

habitat-sim:一個高效能、具物理模擬的 3D 模擬器,供具身 AI 研究使用

它解決了什麼問題

Habitat‑Sim 是一個高效能的 3D 模擬器,專為具身 AI 研究而設計。它解決了需要一個快速、具物理模擬的環境的問題,讓代理人在真實的室內與室外空間中進行訓練與測試,且不會因渲染緩慢或設定複雜而受限。

它如何運作

它提供一個支援真實世界空間 3D 掃描與物件 CAD 模型的模擬引擎。它與 Bullet Physics 整合,以實現剛體力學,並支援可配置的感測器,如 RGB‑D 相機與自我運動感測。此模擬器針對極致速度進行優化,優先考慮每秒影格數 (FPS) 與每秒步數 (SPS),以加速 AI 訓練的迭代。

目標使用者

主要對象是從事具身 AI 的研究人員與開發者,特別是使用強化學習或模仿學習訓練代理人執行導航、指令遵循與問答等任務的人員。

重點特色

  • 極致效能:單顆 GPU 即可渲染每秒數千影格。
  • 廣泛資料集支援:內建支援主要 3D 資料集,包括 HM3D、HSSD、Matterport3D、Gibson 與 Replica。
  • 物理整合:透過 Bullet Physics 支援剛體力學與關節動力學。
  • 機器人多樣性:支援以 URDF 描述的各種機器人配置,包括移動式操作手臂、固定基座手臂與四足機器人。

Sources