JEPA 世界模型:无需重训练的规划优化

通过规划提升世界模型性能

近期针对联合嵌入预测架构 (JEPA) 模型(特别是 LeWorldModel,简称 LeWM)的实验表明,长程任务的主要瓶颈不在于模型预测的质量,而在于所采用的规划策略。通过实施分层规划和基于记忆的目标选择,研究人员可以在不重训练模型权重的情况下实现性能的大幅提升。

规划视界的瓶颈

虽然原始的 LeWM 模型在处理长程任务(例如 75 步)时表现吃力,但它们在较短的时间间隔(例如 25 步)内具有很高的准确性。实验数据表明,将 75 步的任务拆分为三个 25 步的片段,成功率从 22% 提高到了 80%。这表明模型的效用受限于其有效的规划视界,而串联更短、更准确的搜索比尝试优化单一的长程预测更为有效。

利用潜在记忆图

为了消除部署过程中对专家演示的依赖,可以利用现有的演示数据构建潜在记忆图。通过对这些帧进行嵌入并建立连接,规划器可以从起始状态导航到目标状态。为了防止模型创建物理上不可能的路径,必须对不同演示之间的跳转施加成本惩罚。这种方法使模型能够达到与使用专家提供的子目标相当的性能。

通过对称性进行数据增强

由于诸如推动方块之类的物理任务在旋转、平移和镜像下是不变的,因此可以通过转换现有的演示片段来填补记忆空白。这种方法允许模型处理超出原始训练数据直接路径的目标,从而提高了在困难的分布外任务上的成功率。

目标规范的影响

标准规划往往会失败,因为成本函数除了包含目标对象外,还包含了机器人的末端执行器(推杆)位置。由于目标图像包含特定的推杆位置,模型会尝试同时匹配两者,这通常是不必要的且限制过多。从成本函数中移除推杆,或者在多个有效的推杆位置上进行搜索,可以显著提高成功率,因为它允许模型专注于任务目标,而不是匹配无关的视觉细节。

社区观点

围绕这些发现的讨论突显了 JEPA 与经典控制理论之间的关系。一些观察者指出,JEPA 的功能类似于模型预测控制 (MPC),其中“模型”是一种学习到的潜在空间表示。其他人则对评估方法提出了质疑,认为依赖从演示中导出的目标可能会导致对训练分布的过拟合。

"JEPA 与模型预测控制非常相似。在这里,你将系统模型替换为一个黑盒模拟器(神经网络),应用某种版本的动态规划/贝尔曼方程来寻找规划视界内的最优动作。在规划阶段,通过将优化步骤与展开步骤分离,你可以让模型专注于学习潜在空间中的动力学。" — @hazrmard

"这是一种恢复演示后不完整状态或丢失记忆的有趣技术。我猜原始的 LeWM 没有这种转换记忆的技术吗?" — @rvz

Sources

相关

  • Dispatch
  • 项目
  • Dispatch
  • Dispatch