NVlabs/alpamayo

解决的问题

Alpamayo 1 旨在通过弥合高层推理与动作预测之间的差距来提升自动驾驶性能。它特别针对难以实现通用自动驾驶的“长尾”罕见或复杂驾驶场景。

工作原理

该项目实现了视觉-语言-动作（VLA）架构，结合了 Cosmos-Reason 主干网络与动作专家。采用一种称为因果链（Chain-of-Causation, CoC）的推理技术，生成与轨迹预测并行的推理轨迹。模型以多摄像头视频和自车运动历史为输入，预测未来 6.4 秒内以 10 Hz 采样的 64 个航点。

适用对象

该工具适用于自动驾驶（AV）领域的研究人员和开发者，可作为构建定制化 AV 应用或基于推理的自动标注工具的基础或组件。

主要亮点

• 因果链推理：生成推理轨迹，解释预测的驾驶行为。
• VLA 架构：将视觉、语言和动作预测整合到单一模型中。
• 轨迹预测：提供高分辨率轨迹输出（6.4 秒内 64 个航点）。
• CUDA Graph 加速：支持可选加速，用于重复轨迹推理，以减少启动开销。