NVlabs/alpamayo

何を解決するか

Alpamayo 1 は、高レベルの推論と行動予測のギャップを埋めることで、自律走行を改善することを目的としています。特に、一般化された自律走行が困難な「長尾」の稀なまたは複雑な運転シナリオに焦点を当てています。

動作方法

このプロジェクトは、Cosmos-Reasonバックボーンとアクションエキスパートを組み合わせたビジョン・ランゲージ・アクション（VLA）アーキテクチャを実装しています。Chain-of-Causation（CoC）推論と呼ばれる技術を使用して、軌道予測と並行して推論トレースを生成します。モデルはマルチカメラ映像とエゴモーション履歴を入力として受け取り、10 Hzで64のウェイポイントを6.4秒先まで予測します。

対象ユーザー

このツールは、自律走行車（AV）分野の研究者や開発者を対象としており、カスタマイズされたAVアプリケーションや推論ベースの自動ラベル付けツールの基盤として使用することを目的としています。

主な特徴

• 因果連鎖推論（Chain-of-Causation Reasoning）: 予測された運転行動を説明する推論トレースを生成します。
• VLAアーキテクチャ: ビジョン、言語、行動予測を1つのモデルに統合します。
• 軌道予測: 高解像度の軌道出力（6.4秒間の64ウェイポイント）を提供します。
• CUDA Graph加速: 繰り返しの軌道推論のオプション加速をサポートし、起動オーバーヘッドを削減します。