Mistral Robostral Navigate: 최첨단 단일 카메라 로봇 내비게이션

Mistral AI는 로봇이 단일 RGB 카메라만으로 복잡한 환경을 자율적으로 탐색할 수 있게 해주는 8B 파라미터 모델인 Robostral Navigate를 출시했습니다. 보지 않은 R2R-CE (Continuous Environments에서의 Room-to-Room) 벤치마크에서 76.6%의 성공률을 달성함으로써, 기존 단일 카메라 접근 방식보다 9.7 포인트, 깊이 센서나 다중 카메라를 사용하는 시스템보다 4.5 포인트 높은 성능을 보였습니다.

깊이 센서 없이도 고성능 내비게이션

Robostral Navigate는 LiDAR나 깊이 센서 없이도 고정밀 내비게이션이 가능함을 입증했습니다. 사무실, 주거 건물, 상업 공간, 야외 환경 등 다양한 설정에서 작동하도록 설계되었으며, 휠형, 다리형, 비행형 로봇 등 다양한 로봇 유형과 크기에 일반화됩니다.

주요 성능 지표:

• 76.6% 성공률 – 보지 않은 검증 데이터(R2R-CE)에서
• 79.4% 성공률 – 본 검증 데이터에서
• 카메라 내부 파라미터 변화에 대한 강인성

포인팅 및 로컬 변위 기반 내비게이션

Robostral Navigate는 "포인팅" 메커니즘을 사용해 움직임을 결정합니다. 메트릭 변위에 의존하는 대신, 모델은 현재 카메라 뷰 내에서 목표 위치의 이미지 좌표를 추론하고 도착 시 원하는 방향을 결정합니다. 이 접근 방식은 정책이 세계 규모와 카메라 내부 파라미터 변화에 자연스럽게 강인하도록 합니다.

목표 위치가 현재 시야 밖에 있을 경우, 모델은 로컬 좌표 프레임 변위로 대체합니다. 예를 들어, "앞으로 2미터, 왼쪽으로 1.5미터 이동하고, 왼쪽으로 25도 회전"과 같은 구체적인 명령을 생성할 수 있습니다.

모델 아키텍처 및 데이터 생성

Robostral Navigate는 전적으로 사내에서 구축되었으며 기존 오픈소스 Vision-Language Model(VLM)을 사용하지 않았습니다. 객체 위치 지정, 개수 세기, 포인팅과 같은 그라운딩 작업에 특화된 Mistral 비전-언어 모델을 초기화 기반으로 사용했습니다.

모델 학습을 위해 Mistral은 시뮬레이션 기반 데이터 생성 파이프라인을 개발했으며, 6,000개의 서로 다른 씬에서 약 400,000개의 트래젝터리를 생성했습니다. 이 시뮬레이션 우선 접근 방식은 빠른 반복과 다양한 학습 세트 작성을 가능하게 하여 비용이 많이 드는 실제 데이터 수집이 필요 없게 했습니다.

학습 효율성 및 강화 학습

Mistral은 Robostral Navigate 학습을 최적화하기 위해 두 가지 주요 기술 혁신을 구현했습니다:

토큰 효율성을 위한 Prefix-Caching

트리 기반 어텐션 마스킹 전략을 사용해 전체 에피소드를 하나의 시퀀스로 압축했습니다. 이를 통해 모델은 모든 시간 단계에 대해 단일 포워드 패스로 학습하면서 단계 간 정보 누출을 방지합니다. 이 방법은 학습 토큰 수를 22배 감소시켜 학습 기간을 몇 달에서 며칠로 단축했습니다.

CISPO를 통한 온라인 강화 학습

지도 학습 후, 모델은 CISPO라는 온라인 강화 학습 알고리즘으로 추가 정제되었습니다. 이 단계에서는 시도와 오류를 통해 학습하고 실패로부터 회복함으로써, 일반적인 행동 클로닝에서 흔히 발생하는 분포 이동 문제를 완화했습니다. 이 강화 학습 단계만으로도 성공률이 3.2% 상승했습니다.

SUMMARY: Mistral AI는 단일 RGB 카메라만으로 최첨단 로봇 내비게이션을 구현한 8B 모델 Robostral Navigate를 소개했으며, R2R-CE 벤치마크에서 다중 센서 시스템을 능가했습니다.

TITLE: Mistral Robostral Navigate: 최첨단 단일 카메라 로봇 내비게이션