EMERGE-Policy/EMERGE-Policy

解决的问题

传统的具身智能使用单一的端到端模型进行机器人控制。但长程任务需要持续的低级感知、高级规划和细粒度的动作生成。单一模型难以平衡这些相互竞争的需求，导致推理混乱、误差累积和任务失败。EMERGE-Policy 用一个多专用模型协作的系统取代了单一策略方法，使智能从它们的协调中涌现，而不是存在于单一网络中。

工作原理

EMERGE-Policy 是一个图结构的代理运行时。主代理负责协调规划，而多个子代理处理感知、验证和行动。系统将外部模型作为工具调用：OpenPI 或 Cosmos Policy 生成动作，VGGT 从图像估计几何结构，SAM3 执行图像分割。这些模型作为独立环境中的持久服务运行，代理异步协调它们。你可以通过 Web 界面（推荐）、终端 UI 或无头脚本进行交互。共享驱动程序管理 LIBERO 和 LIBERO-Plus 等机器人环境，支持通过斜杠命令进行场景重置和切换。该系统还支持两个后端：原始的 OpenPI VLA 版本和较新的 Cosmos Policy WAM 版本。

适用人群

从事具身 AI、机器人学习或长程操作任务的研究人员和开发人员。该项目为标准 LIBERO 基准测试提供了评估套件和鲁棒性测试，适合那些希望将多策略协作与单策略基线进行比较的用户。它需要熟悉 Conda 环境、模型检查点以及运行多个 GPU 服务。

亮点

• 用协作的专用模型图（规划、感知、验证、行动）取代了单一的端到端策略
• 支持两个模型后端：OpenPI VLA 和 Cosmos Policy WAM，均具有隔离的模型服务器和批处理推理
• 提供三种交互模式：带有实时摄像头的 Web 控制台、带有斜杠命令的终端 UI，以及用于脚本的无头执行
• 包含对 LIBERO、LIBERO-Plus 和 LIBERO-Pro 基准测试的评估支持