HorizonRobotics/HoloAgent

解决的问题

HoloAgent 为通用机器人提供了一个统一的框架，使其能够在现实世界中执行复杂且长周期的任务。它解决了将高层语言指令与物理执行连接起来的挑战，同时通过 3D 记忆保持对环境的空间理解。

如何工作

该系统作为一个「具身智能体操作系统」（Embodied AgentOS），将语言指令转换为受监控的技能图。它集成了四个关键组件：

• 具身智能体操作系统（Embodied AgentOS）： 管理高层任务规划、运行时反馈和闭环执行。
• 3D 空间记忆（3D Spatial Memory）： 提供物理世界的空间表示，为长期任务中的机器人推理提供地基。
• 具身技能（Embodied Skills）： 一个可执行的导航与操作技能库，将智能体决策转化为具体动作。
• FSR-VLN： 一种专用导航组件，利用分层多模态场景图和「快-慢」推理机制，高效处理长距离空间导航。

适用对象

致力于构建具备移动操作、主动探索和动态现实环境中人机交互能力的具身 AI 智能体的机器人研究人员与开发者。

主要亮点

• 闭环执行： 集成空间检索、执行、记忆更新和恢复机制，确保任务成功完成。
• 3D 空间推理： 利用 3D 记忆，使机器人能够探索新空间，并在线更新对环境的理解。
• 多机器人协同： 支持在多个机器人（如人形机器人）之间协调导航与运动。
• 分层导航： 通过多模态场景图实现高效的视觉-语言导航，由 FSR-VLN 实现。