habitat-lab: 室内環境における具現化 AI エージェントの訓練と評価のためのモジュラー フレームワーク

解決する課題

Habitat-Lab は、具現化 AI のエンドツーエンド開発のためのモジュラー フレームワークを提供します。ナビゲーション、物体の再配置、人間の指示に従うといった、室内環境での複雑なタスクをエージェントに学習させるという課題に取り組み、パフォーマンスを評価するツールや、人間がシミュレーションとインタラクションできる手段を提供します。

仕組み

Habitat-Sim コアシミュレータの上に構築されたこのライブラリは、開発者に以下を可能にします:

• Define Tasks: 質問応答、人間追従、ナビゲーションなど、柔軟な単一エージェントまたはマルチエージェントタスクを作成します。
• Configure Agents: センサーや機能を指定することで、ヒューマノイドから商用ロボットまで、さまざまな具現化エージェントをインスタンス化します。
• Train and Evaluate: 強化学習（PPO ベースラインを含む）、模倣学習、あるいは非学習パイプライン（SensePlanAct）用のアルゴリズムを使用してエージェントを訓練し、標準指標でベンチマークします。
• Human Interaction: 人間がシミュレータとインタラクションしてデータを収集したり、訓練済みエージェントをテストしたりできるフレームワークを利用します。

対象ユーザー

本プロジェクトは、具現化 AI、ロボティクスシミュレーション、そして自律エージェントと室内環境との相互作用に取り組む AI 研究者や開発者向けに設計されています。

ハイライト

• Modular Design: 幅広いタスク定義とエージェント構成をサポートします。
• Diverse Agent Support: 各種ロボットタイプやヒューマノイドモデルと互換性があります。
• Integrated Baselines: PPO による強化学習ベースラインが組み込まれています。
• Human-in-the-Loop: データ収集のためにシミュレートされた環境と直接人間がやり取りできる機能を提供します。