HorizonRobotics/HoloAgent

解決的問題

HoloAgent 為通用機器人提供了一個統一的框架，使其能在現實世界中執行複雜且長時間的任務。它解決了將高階語言指令與物理執行連結的挑戰，同時透過 3D 記憶維持對環境的空間理解。

如何運作

該系統作為一個「具身智能體作業系統」（Embodied AgentOS），將語言指令轉換為受監控的技能圖。它整合了四個關鍵組件：

• 具身智能體作業系統（Embodied AgentOS）： 管理高階任務規劃、執行時回饋與閉環執行。
• 3D 空間記憶（3D Spatial Memory）： 提供物理世界的空間表示，為長期任務中的機器人推理提供地基。
• 具身技能（Embodied Skills）： 一個可執行的導航與操作技能庫，將智能體決策轉化為具體動作。
• FSR-VLN： 一種專用導航組件，利用分層多模態場景圖與「快-慢」推理機制，高效處理長距離空間導航。

適用對象

致力於建構具備移動操作、主動探索與動態現實環境中人機互動能力的具身 AI 智能體的機器人研究人員與開發者。

主要亮點

• 閉環執行： 整合空間檢索、執行、記憶更新與恢復機制，確保任務成功完成。
• 3D 空間推理： 利用 3D 記憶，使機器人能夠探索新空間，並在線更新對環境的理解。
• 多機器人協同： 支援在多個機器人（如人形機器人）之間協調導航與運動。
• 分層導航： 透過多模態場景圖實現高效的視覺-語言導航，由 FSR-VLN 實現。