NVlabs/alpamayo

NVIDIA Alpamayo 1 Nano is an open 10B reasoning VLA model for autonomous vehicles that pairs driving trajectories with Chain-of-Causation reasoning.

What it solves

Alpamayo 1은 자율 주행의 일반화성을 향상시키도록 설계되었으며, 표준 모델이 종종 어려움을 겪는 "긴 꼬리" 시나리오를 구체적으로 해결합니다. 이는 고수준 추론과 구체적인 행동 예측(궤적 계획) 사이의 간격을 메워 차량이 복잡한 환경을 더 신뢰성 있게 탐색하도록 돕습니다.

How it works

이 프로젝트는 Cosmos-Reason 백본과 행동 전문가를 결합한 Vision-Language-Action(VLA) 아키텍처를 사용합니다. 멀티 카메라 비디오와 에고모션 기록을 입력으로 받아 두 가지 출력을 생성합니다: reasoning trace(Chain-of-Causation reasoning이라고 하는 방법 사용)와 10Hz에서 6.4초 horizon 동안 64개의 waypoint로 구성된 예측된 궤적입니다.

Who it’s for

이 도구는 자율 주행차(AV) 스택에서 작업하는 연구원 및 개발자를 대상으로 하며, 맞춤형 AV 애플리케이션을 구축하거나 reasoning 기반 자동 라벨링 도구를 만들기 위한 기초 모델을 찾는 분들을 위해 설계되었습니다.

Highlights

  • Chain-of-Causation (CoC) reasoning: 인간-in-the-loop을 사용하는 하이브리드 자동 라벨링을 활용하여 reasoning traces를 생성합니다.
  • VLA Architecture: 비전, 언어, 행동 예측을 단일 모델에 통합합니다.
  • Trajectory Prediction: 6.4s horizon에 대한 정확한 waypoint를 예측합니다.
  • SFT and RL Pipelines: Alpamayo Recipes를 통해 감독된 미세 조정(SFT)과 강화 학습(RL) 후 훈련 파이프라인을 포함합니다.