Mistral Robostral Navigate: 最先进的单摄像头机器人导航

Mistral AI 发布了 Robostral Navigate，这是一个拥有 8B 参数的模型，能够使机器人仅使用单个 RGB 摄像头即可在复杂环境中自主导航。通过在未见的 R2R-CE (Room-to-Room in Continuous Environments) 基准测试中实现 76.6% 的成功率，该模型比现有的单摄像头方法高出 9.7 个百分点，并超过了使用深度传感器或多摄像头的系统 4.5 个百分点。

无需深度传感器的高性能导航

Robostral Navigate 表明，高保真导航并不需要 LiDAR 或深度传感器。它被设计为可以在多种设置中运行——包括办公室、住宅楼、商业空间和室外环境——并能推广到不同的机器人类型（轮式、足式和飞行式）和尺寸。

关键性能指标包括：

• 76.6% 成功率 在未见的验证数据 (R2R-CE) 上。
• 79.4% 成功率 在已见的验证数据上。
• 对摄像头内参变化的鲁棒性。

通过指向和局部位移进行导航

Robostral Navigate 采用“指向”机制来确定移动。该模型不依赖于度量位移，而是推断当前摄像头视图内目标位置的图像坐标，并确定到达后的期望朝向。这种方法使策略对世界尺度和摄像头内参的变化具有天然的鲁棒性。

在目标位置位于当前视野之外的情况下，模型会退回到局部坐标系位移。例如，它可以生成特定的命令，如“向前移动 2 米，向左移动 1.5 米，并向左转 25 度”。

模型架构与数据生成

Robostral Navigate 完全是在内部构建的，没有利用现有的开源视觉语言模型 (VLMs)。它是由一个专门用于 grounding 任务（如物体定位、计数和指向）的 Mistral 视觉语言模型初始化的。

为了训练该模型，Mistral 开发了一个基于模拟的数据生成流水线，在 6,000 个不同的场景中生成了大约 400,000 条轨迹。这种“模拟优先”的方法允许快速迭代并创建多样化的训练集，而无需进行昂贵的现实世界数据采集。

训练效率与强化学习

Mistral 实施了两个主要的的技术创新，以优化 Robostral Navigate 的训练：

用于 Token 效率的 Prefix-Caching

使用基于树的注意力掩码策略，团队将整个回合 (episodes) 压缩成单个序列。这使得模型可以在单次前向传播中训练所有时间步，同时防止步骤之间的信息泄漏。这种方法将训练 token 的数量减少了 22 倍，将训练周期从数月缩短到了数天。

通过 CISPO 进行在线强化学习

在监督训练之后，该模型通过 CISPO（一种在线强化学习算法）进行了进一步优化。这一阶段允许模型通过试错来学习并从失败中恢复，从而缓解了普通行为克隆中常见的分布偏移问题。仅强化学习阶段就将成功率提高了 3.2%。