AhernResearch/grava

해결하는 문제

GRAVA는 시각적 장면 이해를 구체적인 주행 행동과 효과적으로 연결할 수 있는 자율 주행 모델을 만드는 과제를 해결합니다. 기존 모델들은 자동차가 '보는 것'과 실제로 내리는 구체적인 결정 사이의 명확한 연결을 유지하는 데 어려움을 겪는 경우가 많아, 추론과 계획 사이에 간극이 발생하곤 합니다.

작동 원리

GRAVA는 "Grounded Reasoning-to-Action (GRA)" 표현 방식을 사용합니다. 이는 시각적 객체와 물리적 상태를 주행 결정과 연결하는 궤적 앵커 그래프를 구축합니다. 단일 Vision-Language Model (VLM)이 이 정보를 처리하여 일련의 추론을 생성한 뒤 "Executable Planner" 동작을 수행합니다. 이 동작은 고정된 기하학적 디코더를 사용하여 연속적인 주행 궤적으로 변환됩니다. 학습 과정에는 기반 사전 학습(grounded pre-training), 플래너 웜업, 자기 증류(self-distillation), 그리고 강화 학습이 포함됩니다.

대상 사용자

이 프로젝트는 고수준의 추론과 정확하고 실행 가능한 궤적 계획을 결합한 모델을 학습시키기 위한 엔드투엔드 프레임워크가 필요한 자율 주행 시스템 연구자 및 개발자를 위한 것입니다.

주요 특징

• 시각적 참조와 물리적 수치를 계획 결정에 계속 연결하는 기반 추론.
• 추론과 실행 가능한 동작을 하나의 스트림에서 생성하는 통합된 자기회귀 인터페이스.
• 학습 인프라, 시뮬레이션 및 보상 엔진, 데이터셋 지원을 포함하는 포괄적인 연구 생태계.
• Active RL과 검증된 자기 증류를 통합한 다단계 학습 파이프라인.