Mistral Robostral Navigate: 最先端の単一カメラロボティクスナビゲーション

Mistral AI は Robostral Navigate をリリースしました。この 8B パラメーターモデルは、単一の RGB カメラだけでロボットが複雑な環境を自律的にナビゲートできるようにします。未見の R2R-CE（Continuous Environments の Room‑to‑Room）ベンチマークで 76.6% の成功率を達成し、既存の単一カメラ手法を 9.7 ポイント上回り、深度センサーや複数カメラを使用するシステムを 4.5 ポイント上回ります。

深度センサー不要の高性能ナビゲーション

Robostral Navigate は、LiDAR や深度センサーがなくても高精度なナビゲーションが可能であることを示しています。オフィス、住宅、商業スペース、屋外環境など多様な設定で動作するよう設計されており、車輪型、脚型、飛行型などさまざまなロボットタイプやサイズに汎用化できます。

主な性能指標は次のとおりです:

• 76.6% の成功率（未見の検証データ R2R-CE）
• 79.4% の成功率（既視の検証データ）
• カメラ内部パラメータの変動に対する ロバスト性

ポインティングとローカル変位によるナビゲーション

Robostral Navigate は「ポインティング」メカニズムを用いて移動を決定します。メートル単位の変位に依存する代わりに、モデルは現在のカメラビュー内で目標位置の画像座標を推定し、到達時の望ましい向きを決定します。このアプローチにより、ポリシーは世界スケールやカメラ内部パラメータの変化に自然にロバストになります。

目標位置が現在の視野外にある場合、モデルはローカル座標系での変位にフォールバックします。たとえば、"前方に 2 メートル、左に 1.5 メートル、左に 25 度回転して移動" といった具体的なコマンドを生成できます。

モデルアーキテクチャとデータ生成

Robostral Navigate は完全に社内で開発され、既存のオープンソース Vision‑Language Model（VLM）は使用していません。物体の位置特定、カウント、ポインティングなどのグラウンディングタスクに特化した Mistral のビジョン‑ラングエッジモデルから初期化されました。

モデルの訓練のために、Mistral はシミュレーションベースのデータ生成パイプラインを構築し、6,000 の異なるシーンで約 400,000 本の軌跡を生成しました。このシミュレーション優先アプローチにより、迅速なイテレーションと多様なトレーニングセットの作成が可能となり、コストのかかる実世界データ収集を不要にしました。

訓練効率と強化学習

Mistral は Robostral Navigate の訓練を最適化するために、以下の 2 つの主要技術革新を実装しました:

トークン効率化のための Prefix‑Caching

ツリー構造のアテンションマスク戦略を用いて、エピソード全体を単一シーケンスに圧縮しました。これにより、すべてのタイムステップを 1 回のフォワードパスで訓練でき、ステップ間の情報漏洩を防止します。この手法は訓練トークン数を 22 倍削減し、訓練期間を数か月から数日に短縮しました。

CISPO によるオンライン強化学習

教師あり訓練の後、CISPO というオンライン強化学習アルゴリズムでモデルをさらに洗練させました。この段階でモデルは試行錯誤から学習し、失敗から回復できるようになり、従来の行動クローニングでよく見られる分布シフト問題を緩和しました。この強化学習フェーズだけで成功率が 3.2% 向上しました。