fudan-generative-vision/WAM-Flow

何を解決するか

WAM-Flowは、自律走行のための正確かつ安全な運動計画の課題に対処します。自然言語によるナビゲーションコマンドに従い、道路規則や安全制約を遵守する未来の軌道を生成することを目指しています。

仕組み

システムは、前方視野の画像、自然言語によるナビゲーションコマンド（システムプロンプト付き）、およびエゴ車両の現在状態を入力として受け取ります。離散的なフローマッチングに基づく並列な粗いから細かい運動計画アプローチを使用して、4秒間の8ポイント未来軌道を出力します。

学習は2段階で行われます：

1. 教師あり微調整（SFT）： モデルはまず正確な軌道予測を学習するために訓練されます。
2. RL最適化： シミュレータガイド付きのグループ相対方策最適化（GRPO）を使用して閉ループ動作を最適化します。GRPOの報酬関数は、衝突回避や走行可能領域の遵守といった安全制約と、エゴ進捗、快適性、衝突までの時間といったパフォーマンス目標を統合しています。

対象ユーザー

自律走行、視覚言語行動（VLA）モデル、生成AIを用いた運動計画に取り組む研究者および開発者。

特徴

• 並列ノイズ除去： 高効率な軌道生成のための離散的フローマッチングを使用。
• 粗いから細かい計画： 並列な粗いから細かい戦略を実装した運動計画。
• VLA統合： 視覚認識、言語コマンド、車両状態を統合して行動出力を生成。
• シミュレータガイド付きRL： GRPOを用いてモデルの行動を安全およびパフォーマンス指標に一致させる。