fudan-generative-vision/WAM-Flow

해결하는 문제

WAM-Flow는 자율 주행을 위한 정확하고 안전한 운동 계획의 과제를 해결합니다. 자연어 기반의 내비게이션 명령에 따라 도로 규칙과 안전 제약을 준수하는 미래 경로를 생성하는 것을 목표로 합니다.

작동 방식

시스템은 전방 이미지, 자연어 기반 내비게이션 명령(시스템 프롬프트 포함), 그리고 자율차의 현재 상태를 입력으로 받습니다. 이는 이산적 흐름 매칭 기반의 병렬적인 거친부터 세밀한 계획 방식을 사용하여 4초 동안의 8개 경로점으로 구성된 미래 경로를 출력합니다.

학습은 두 단계로 이루어집니다:

1. 지도 학습 미세 조정(SFT): 모델은 먼저 정확한 경로 예측을 학습하기 위해 훈련됩니다.
2. 강화학습 최적화: 시뮬레이터 가이드된 그룹 상대 정책 최적화(GRPO)를 사용하여 폐루프 동작을 최적화합니다. GRPO의 보상 함수는 충돌 회피 및 주행 가능 영역 준수와 같은 안전 제약과 에고 진전, 승차감, 충돌까지 시간과 같은 성능 목표를 통합합니다.

대상 사용자

자율 주행, 시각-언어-행동(VLA) 모델, 생성형 AI를 활용한 운동 계획에 종사하는 연구자 및 개발자.

주요 특징

• 병렬 노이즈 제거: 효율적인 경로 생성을 위한 이산적 흐름 매칭 사용.
• 거친에서 세밀한 계획: 병렬적인 거친에서 세밀한 전략을 구현한 운동 계획.
• VLA 통합: 시각 인식, 언어 명령, 차량 상태를 통합하여 행동 출력.
• 시뮬레이터 가이드된 강화학습: GRPO를 활용해 모델의 행동을 안전성 및 성능 지표에 맞춤.