OpenBMB/MiniCPM-Robot

What it solves

MiniCPM-Robot는 로봇이 실제 환경에서의 인지, 의사결정 및 동작을 처리할 수 있도록 온디바이스 AI 브레인을 제공합니다. 이는 무거운 클라우드 컴퓨팅에 의존하지 않고 로봇 하드웨어에서 직접 복잡한 조작 및 타겟 트래킹을 수행할 수 있는 효율적이고 저지연인 모델에 대한 요구를 해결합니다.

How it works

이 프로젝트는 두 가지 주요 모델 제품군으로 구성됩니다:

• MiniCPM-RobotManip: 일반적인 로봇 조작을 위한 1.5B 파라미터 Vision-Language-Action (VLA) 모델입니다. 과거 프레임을 다시 계산하는 높은 계산 비용 없이 시각적 컨텍스트 메모리(최대 1분)를 유지하기 위해 스트리밍 추론을 사용합니다. 또한 지연 시간을 줄이기 위해 시각적 토큰 압축을 채용합니다.
• MiniCPM-RobotTrack: 체화된 타겟 트래킹을 위한 0.9B 파라미터 정책입니다. 품질 중심의 자기 진화형 데이터 파이프라인과 DAgger (Dataset Aggregation)를 활용하여 타겟 교차 및 가려짐과 같은 어려운 시나리오에서의 성능을 개선합니다. Unitree Go2 로봇에서 엔드투엔드 실행에 최적화되어 있으며, 시각적 캡처, 인코딩 및 동작 생성 기능을 통합합니다.

Who it’s for

이 모델은 체화된 AI 에이전트를 구축하는 로봇 공학 연구자 및 개발자를 위해 설계되었습니다. 특히 Unitree Go2 EDU와 같은 하드웨어에 온디바이스 배포를 온디바이스 배포를 목표로 하거나 LIBERO, CALVIN, Habitat-Sim과 같은 시뮬레이터를 사용하는 경우를 대상으로 합니다.

Highlights

• Efficient Manipulation: 하나의 통합된 1.5B 일반론적 정책이 여러 벤치마크에서 더 큰 모델보다 뛰어난 성능을 보내며 낮은 지연 시간(H100에서 결정 단계당 120ms)을 유지합니다.
• On-Device Tracking: Unitree Go2 EDU에서 5+ FPS로 실행 가능한 최초의 완전한 온디바이스 체화된 타겟 트래커(0.9B)입니다.
• Streaming Context: 전통적인 재계산 방식에 비해 TFLOPs를 크게 줄이면서 최대 60프레임의 히스토리를 지원합니다.
• End-to-End Optimization: 실시간 로봇 제어를 위해 시각적 캡처부터 명령 실행까지 전체 파이프라인을을 통합적으로 최적화합니다.