fudan-generative-vision/WAM-Flow
[CVPR 2026] WAM-Flow: Parallel Coarse-to-Fine Motion Planning via Discrete Flow Matching for Autonomous Driving
解決的問題
WAM-Flow 解決了自動駕駛中精確且安全的運動規劃挑戰。其目標是生成符合道路規則與安全限制，同時遵循自然語言導航指令的未來軌跡。
工作原理
系統接收前視影像、自然語言導航指令（含系統提示）以及本車當前狀態作為輸入。它基於離散流匹配的並行粗到精運動規劃方法，輸出一個跨越4秒的8個航點未來軌跡。
訓練分為兩個階段：
- 監督微調（SFT）： 模型首先透過監督學習來掌握精確的軌跡預測能力。
- 強化學習優化： 使用模擬器引導的組相對策略優化（GRPO）來優化閉環行為。GRPO的獎勵函數整合了安全限制（如避障、可行駛區域合規）與性能目標（如本車前進距離、舒適性、碰撞時間）。
適用對象
從事自動駕駛、視覺-語言-動作（VLA）模型以及基於生成式AI的運動規劃的研究人員與開發者。
主要亮點
- 並行去噪： 使用離散流匹配實現高效的軌跡生成。
- 粗到精規劃： 實現並行的粗到精運動規劃策略。
- VLA整合： 融合視覺感知、語言指令與車輛狀態，輸出動作。
- 模擬器引導的強化學習： 採用GRPO使模型行為與安全性與性能指標對齊。
相關
- 專案
HorizonRobotics/alfALF（智能體學習框架）是一個基於 PyTorch 的強化學習程式庫，提供大量演算法（A2C、PPO、SAC、MuZero 等）、模組化元件、Python 風格設定，以及單機與多 GPU/叢集訓練支援。包含多個即開即用的範例（CartPole、Atari、MuJoCo、MetaDrive），並支援 Docker、Nix 與 uv 安裝方式。
- 專案
naubiomech/OpenExoOpenExo 是一個用於可穿 _diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact__ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact_ diact
- 專案
- 專案
nftechie/doomfly一個將生物學重建的果蠅連接組與 ViZDoom 競技場連接的模擬，旨在測試生物神經布線是否能透過多巴胺門控記憶規則實現生存訓練。