Robostral Navigate リリースノート

Mistral AIは、単一のRGBカメラと自然言語による指示のみを使用して、ロボットが複雑な環境内を移動できるように設計された、エンボディド・ナビゲーション（embodied navigation）向けの8Bモデル、Robostral Navigateを発表しました。このモデルは、LiDARや深度センサーを使用するものを含む既存のマルチセンサー・アプローチを凌駕しつつ、より高い効率性を維持しています。

パフォーマンス・ベンチマーク

Robostral Navigateは、トレーニング中に見られなかった環境での指示に従う能力を測定する、Room-to-Room in Continuous Environments (R2R-CE) ベンチマークにおいて、最先端のパフォーマンスを達成しています。

• Validation Unseen: 76.6% の成功率。
• Validation Seen: 79.4% の成功率。

これらの結果は、最高の単一カメラ・アプローチに対して9.7ポイント、深度センサーや複数のカメラを利用する最高のシステムに対して4.5ポイントのリードを示しています。

ナビゲーション手法：Pointing と Displacements

Robostral Navigateは、次の動きを予測するために「pointing」メカニズムを利用しています。このモデルは、現在のカメラビュー内のターゲット・ロケーションの画像座標を推論し、到着時の希望の向きを決定します。このアプローチにより、ポリシーは世界のスケールやカメラの内部パラメータ（intrinsics）の変化に対して堅牢になります。

ターゲット・ロケーションが現在の視野（field of view）の外にある場合、モデルはローカル座標系の変位（displacements）にフォールバックし、指定されたメートル数だけ前進または左へ移動し、特定の角度だけ回転するといった具体的な指示を提供します。

モデル・アーキテクチャとトレーニング

Robostral Navigateは完全に自社開発されており、物体定位（object localization）、計数（counting）、および pointing といったグラウンディング・タスクに特化したビジョン・ランゲージ・モデルから初期化されています。

データ生成

このモデルは、完全にシミュレーション内でトレーニングされており、350,000のシーンにわたって約240万の軌跡（trajectories）を生成するカスタム・データ生成パイプラインを使用しています。

教師ありトレーニングの効率化

トレーニングを最適化するために、Mistral AIは、ツリーベースの注意（attention）マスキング戦略を用いた prefix-caching アルゴリズムを実装しました。この手法は、エピソード全体を単一のシーケンスに圧縮し、モデルが単一のフォワード・パスで全タイムステップをトレーニングできるようにします。これにより、トレーニング・トークンの数を22倍削減し、トレーニング期間を数ヶ月から数日へと短縮しました。

オンライン強化学習

教師ありトレーニングに続いて、モデルのパフォーマンスは、オンライン強化学習アルゴリズムである CISPO を使用してさらに強化されました。これにより、モデルは試行錯誤を通じて学習し、失敗から回復することが可能になり、成功率が3.2%向上し、バニラな行動クローニング（behavior cloning）に関連する分布シフト（distribution shift）の問題が軽減されました。

ハードウェアの汎用性とアプリケーション

Robostral Navigateは、ハードウェアに依存しないように設計されており、そのサイズに関わらず、車輪型、脚式、および飛行型ロボット上で動作します。単一のRGBカメラのみに依存するため、オフィス、住宅、商業施設、屋外環境を含むさまざまな設定において適用可能です。Mistral AIは、これらの能力を、製造、配送、物流、ホスピタリティ分野でのアプリケーションにおいて極めて重要であると考えています。