HorizonRobotics/HoloAgent

何を解決するか

HoloAgentは、現実世界で複雑で長時間にわたるタスクを実行するための統合フレームワークを一般用途ロボットに提供します。高レベルの言語指示と物理的実行を結びつける課題に取り組みつつ、3Dメモリを通じて環境の空間的理解を維持します。

どう動くか

このシステムは「Embodied AgentOS」として動作し、言語指示を監視されたスキルグラフに変換します。4つの主要なコンポーネントを統合しています：

• Embodied AgentOS: 高レベルのタスク計画、実行時フィードバック、クローズドループ実行を管理します。
• 3D Spatial Memory: 長期間のタスクに向けたロボットの推論を地平化するための物理世界の空間表現を提供します。
• Embodied Skills: エージェントの意思決定を行動に変換する実行可能なナビゲーションおよび操作スキルのライブラリです。
• FSR-VLN: 階層的なマルチモーダルシーングラフと「速い・遅い」推論を使用して、長距離空間ナビゲーションを効率的に処理する専用ナビゲーションコンポーネントです。

対象ユーザー

動的でリアルな現実世界環境において、モバイルマニピュレーション、アクティブな探索、インタラクティブな人間-ロボットインタラクションを実行できるエージェントを開発するロボット工学の研究者および開発者。

特徴

• クローズドループ実行: 空間検索、実行、メモリ更新、回復メカニズムを統合し、タスクの成功完了を保証します。
• 3D空間推論: 3Dメモリを使用して、ロボットが新しい空間を探索し、環境の理解をオンラインで更新できるようにします。
• マルチロボット協調: 人間型ロボットなど、複数のロボット間でのナビゲーションと運動の協調をサポートします。
• 階層的ナビゲーション: マルチモーダルシーングラフを使用した効率的な視覚言語ナビゲーションをFSR-VLNで実装します。