NVlabs/alpamayo

解決的問題

Alpamayo 1 設計用於透過彌補高階推理與動作預測之間的差距，提升自動駕駛表現。它特別針對一般化自動駕駛難以實現的「長尾」稀有或複雜駕駛情境。

工作原理

本專案實作視覺-語言-動作（VLA）架構，結合 Cosmos-Reason 主幹與動作專家。採用稱為因果鏈（Chain-of-Causation, CoC）的推理技術，同時生成推理軌跡與軌跡預測。模型以多鏡頭影像與自車運動歷史為輸入，預測未來 6.4 秒內以 10 Hz 速率的 64 個航點。

適用對象

此工具適用於自動駕駛（AV）領域的研究人員與開發者，可作為開發客製化 AV 應用或基於推理的自動標記工具的基礎或模組。

主要亮點

• 因果鏈推理：生成推理軌跡，解釋預測的駕駛行為。
• VLA 架構：將視覺、語言與動作預測整合於單一模型中。
• 軌跡預測：提供高解析度軌跡輸出（6.4 秒內 64 個航點）。
• CUDA Graph 加速：支援可選加速，用於重複軌跡推論，以減少啟動開銷。