habitat-lab: 一個用於在室內環境中訓練與評估具身智能代理的模組化框架

它解決了什麼問題

Habitat-Lab 提供了一個用於具身智能端到端開發的模組化框架。它解決了在室內環境中訓練代理執行複雜任務的挑戰——例如導航、物體重新排列以及遵循人類指令——同時提供評估其性能的工具，並允許人類與模擬環境進行互動。

運作方式

該函式庫建立在 Habitat-Sim 核心模擬器之上，允許開發者：

• 定義任務：建立靈活的單代理或多代理任務，包括問答、跟隨人類以及導航。
• 配置代理：透過指定感測器與能力，實例化各種具身代理，範圍從人形機器人到商用機器人。
• 訓練與評估：使用提供的強化學習演算法（包括 PPO baselines）、模仿學習或非學習流程（SensePlanAct）來訓練代理，並使用標準指標進行基準測試。
• 人類互動：使用一個允許人類與模擬器互動的框架，以收集數據或測試已訓練的代理。

對象是誰

此專案是為從事具身智能、機器人模擬以及自主代理與室內環境互動研究的 AI 研究人員與開發者所設計。

重點特性

• 模組化設計：支援多種任務定義與代理配置。
• 多樣化的代理支援：相容於各種機器人類型與人形模型。
• 整合的基準測試：包含透過 PPO 提供的強化學習 baselines。
• 人機互動 (Human-in-the-Loop)：允許人類直接與模擬環境互動以進行數據收集。