AhernResearch/grava

解決する課題

GRAVAは、視覚的なシーン理解と具体的な運転行動を効果的に結びつける自動運転モデルを作成するという課題に対処します。従来のモデルでは、車が「見ているもの」と実際に行う具体的な決定との間の明確なつながりを維持することが難しく、推論と計画の間にギャップが生じることがよくあります。

仕組み

GRAVAは「Grounded Reasoning-to-Action (GRA)」表現を使用します。これは、視覚オブジェクトや物理的状態を運転の決定に結びつける軌道アンカー型グラフを構築するものです。単一のVision-Language Model (VLM) がこの情報を処理して一連の推論を生成し、続いて「Executable Planner」のアクションを実行します。このアクションは、固定された幾何学的デコーダーを使用して連続的な運転軌道に変換されます。トレーニングプロセスには、グラウンデッド事前学習、プランナーのウォームアップ、自己蒸留、および強化学習が含まれます。

対象読者

このプロジェクトは、高度な推論と正確で実行可能な軌道計画を組み合わせたモデルをトレーニングするためのエンドツーエンドのフレームワークを必要とする、自動運転システムに取り組む研究者や開発者を対象としています。

ハイライト

• 視覚的な参照や物理量を計画の決定に結びつけたままにするグラウンデッド推論。
• 推論と実行可能なアクションの両方を単一のストリームで生成する統合された自己回帰インターフェース。
• トレーニングインフラ、シミュレーションおよび報酬エンジン、データセットサポートを含む包括的な研究エコシステム。
• Active RLと検証済みの自己蒸留を組み込んだ多段階トレーニングパイプライン。