NVlabs/alpamayo

해결하는 문제

Alpamayo 1은 고수준의 추론과 행동 예측 사이의 격차를 메우기 위해 설계되어 자율 주행을 향상시킵니다. 특히 일반화된 자율 주행이 어려운 '긴 꼬리'(long tail)의 드문 또는 복잡한 주행 시나리오에 초점을 맞춥니다.

작동 방식

이 프로젝트는 Cosmos-Reason 백본과 액션 전문가를 결합한 비전-언어-액션(VLA) 아키텍처를 구현합니다. Chain-of-Causation(CoC) 추론 기법을 사용하여 궤적 예측과 함께 추론 트레이스를 생성합니다. 모델은 다중 카메라 영상과 에고모션 이력(ego-motion history)을 입력으로 받아 10Hz에서 64개의 웨이포인트를 6.4초 동안 예측합니다.

대상 사용자

이 도구는 자율 주행차(AV) 분야의 연구자 및 개발자들을 위한 것으로, 맞춤형 AV 애플리케이션 또는 추론 기반 자동 레이블링 도구의 기반으로 사용할 수 있습니다.

주요 특징

• 인과 연쇄 추론(Chain-of-Causation Reasoning): 예측된 주행 행동을 설명하는 추론 트레이스를 생성합니다.
• VLA 아키텍처: 비전, 언어, 행동 예측을 하나의 모델에 통합합니다.
• 궤적 예측: 6.4초 동안 64개의 웨이포인트로 고해상도 궤적 출력을 제공합니다.
• CUDA Graph 가속: 반복적인 궤적 추론에 대해 선택적 가속을 지원하여 시작 오버헤드를 줄입니다.