fudan-generative-vision/WAM-Flow

解决的问题

WAM-Flow 解决了自动驾驶中准确且安全的运动规划挑战。其目标是生成符合道路规则和安全约束，同时遵循自然语言导航指令的未来轨迹。

工作原理

系统接收前视图像、自然语言导航指令（含系统提示）以及本车当前状态作为输入。它基于离散流匹配的并行粗到精运动规划方法，输出一个跨越4秒的8个航点未来轨迹。

训练分为两个阶段：

1. 监督微调（SFT）： 模型首先通过监督学习来掌握精确的轨迹预测能力。
2. 强化学习优化： 使用模拟器引导的组相对策略优化（GRPO）来优化闭环行为。GRPO的奖励函数整合了安全约束（如避障、可行驶区域合规）与性能目标（如本车前进距离、舒适性、碰撞时间）。

适用人群

从事自动驾驶、视觉-语言-动作（VLA）模型以及基于生成式AI的运动规划的研究人员和开发者。

主要亮点

• 并行去噪： 使用离散流匹配实现高效的轨迹生成。
• 粗到精规划： 实现并行的粗到精运动规划策略。
• VLA集成： 融合视觉感知、语言指令与车辆状态，输出动作。
• 模拟器引导的强化学习： 采用GRPO使模型行为与安全性和性能指标对齐。