Mistral Robostral Navigate：最先進的單相機機器人導航

Mistral Robostral Navigate：最先進的單相機機器人導航

Mistral AI 已發布 Robostral Navigate，一款 8B 參數模型，讓機器人僅使用單一 RGB 相機即可自主導航複雜環境。該模型在未見過的 R2R-CE（連續環境中的房間到房間）基準上達到 76.6% 的成功率，較現有單相機方法提升 9.7 個百分點，且超過使用深度感測器或多相機系統的表現 4.5 個百分點。

無需深度感測器的高效能導航

Robostral Navigate 證明高精度導航不需要 LiDAR 或深度感測器。它被設計可在多種環境中運作——包括辦公室、住宅大樓、商業空間以及戶外環境——且能在不同類型（輪式、足式、飛行）與尺寸的機器人間泛化。

關鍵績效指標包括：

  • 76.6% 成功率（未見驗證資料，R2R-CE）
  • 79.4% 成功率（已見驗證資料）
  • 對相機內參變化的韌性

透過指向與局部位移進行導航

Robostral Navigate 採用「指向」機制來決定移動。模型不依賴度量位移，而是推斷目標位置在當前相機視野中的影像座標，並在抵達時確定所需的朝向。此方法使策略自然對世界尺度與相機內參的變化具備韌性。

當目標位置超出當前視野時，模型會回退至局部座標框架的位移。例如，它可以產生具體指令：「向前移動 2 公尺，向左移動 1.5 公尺，並向左轉 25 度。」

模型架構與資料生成

Robostral Navigate 完全由內部自行開發，未使用現有的開源視覺語言模型（VLM）。它是從 Mistral 的視覺語言模型（專注於定位、計數與指向等 grounding 任務）初始化而來。

為了訓練模型，Mistral 開發了一套基於模擬的資料生成管線，產生約 40 萬條軌跡，涵蓋 6,000 個不同場景。此「先模擬」的方式讓開發團隊能快速迭代，並在不需昂貴實際資料收集的情況下打造多樣化的訓練集。

訓練效率與強化學習

Mistral 實作了兩項主要技術創新，以最佳化 Robostral Navigate 的訓練：

前綴快取（Prefix‑Caching）提升 Token 效率

使用樹狀注意力遮罩策略，團隊將整個回合壓縮成單一序列。這使模型能在一次前向傳播中訓練所有時間步，同時防止步驟間資訊洩漏。此方法將訓練所需的 token 數量減少 22 倍，將訓練時間從數月縮短至數天。

透過 CISPO 的線上強化學習

在監督式訓練之後，模型進一步使用 CISPO 這套線上強化學習演算法進行微調。此階段讓模型能從試錯中學習並從失敗中恢復，緩解了傳統行為克隆常見的分佈偏移問題。僅此強化學習階段就使成功率提升了 3.2%。

摘要： Mistral AI 推出了 Robostral Navigate，一款 8B 模型，僅使用單一 RGB 相機即可在 R2R-CE 基準上達到最先進的機器人導航表現，並超越多感測器系統。

標題： Mistral Robostral Navigate：最先進的單相機機器人導航

Sources