thu-ml/Motus

Motus – 통합 잠재 액션 월드 모델

개요 – Motus는 구현 로봇 공학을 위한 잠재 액션 월드 모델을 구축하는 오픈 소스 연구 코드베이스입니다. Mixture-of-Transformers (MoT) 아키텍처를 사용하여 세 가지 전문가 모듈(비디오 생성 모델(VGM), 비전-언어 모델(VLM), 그리고 두 개의 소형 '이해' 및 '액션' 전문가)을 결합합니다. 시스템은 고전적인 월드 모델 예측, 비전-언어-액션 추론, 역동역학, 비디오 생성 또는 통합 비디오-액션 예측 등 여러 모드로 실행할 수 있습니다.

주요 구성 요소

구성 요소	기본 모델(사전 훈련)	크기
VGM(비디오 생성)	Wan2.2-5B	~5 B 파라미터
VLM(비전-언어)	Qwen3-VL-2B	~2.1 B 파라미터
액션 전문가	–	~0.64 B
이해 전문가	–	~0.25 B
총계	–	~8 B

VGM과 VLM은 기존 Hugging Face 체크포인트에서 가져오고, 두 개의 소형 전문가는 처음부터 훈련됩니다. Motus는 광학 흐름의 '델타 픽셀'에서 잠재 액션을 학습하여 비디오 프레임에서 직접 세밀한 로봇 동작을 예측할 수 있습니다.

훈련 파이프라인 – Motus는 3단계 프로세스를 따릅니다.

1. 기반 사전 훈련: 대규모 웹 규모 비디오 및 이미지-텍스트 데이터에서 VGM과 VLM을 사전 훈련합니다.
2. 1단계 – 자기 중심 인간 비디오, 합성 데이터 및 다중 로봇 궤적에서만 VGM을 훈련합니다.
3. 2단계 – 동일한 데이터에 작업 비종속 데이터를 더해 전체 MoT(세 전문가 모두)를 훈련하여 잠재 액션 표현을 학습합니다.
4. 3단계 – 대상 로봇 작업 궤적(예: RoboTwin 2.0)에서 전체 시스템을 미세 조정합니다. 파이프라인은 6계층 '데이터 피라미드'로 설명됩니다.

지원 데이터 – 저장소는 세 가지 데이터셋 형식을 수용할 수 있습니다.

• RoboTwin 2.0 – 깨끗한 분할과 무작위 분할이 있는 시뮬레이션 스위트.
• 실제 세계 – AC-One 및 Aloha-Agilex-2 로봇 로그.
• 멀티 카메라 – 3뷰 이미지를 연결하는 유틸리티.

변환 스크립트(data/robotwin2/robotwin_data_convert/ 및 data/utils/multi_camera_concat.py)는 원시 로그를 필요한 디렉터리 레이아웃으로 재구성하는 데 도움이 됩니다(DATA_FORMAT.md 참조).

모델 실행

• 추론 – 경량 추론 스크립트는 RoboTwin 2.0에서 평가하거나 실제 세계 데이터에서 최소 데모를 실행할 수 있습니다. README는 명령줄 플래그 및 구성 파일(configs/robotwin.yaml, configs/ac_one.yaml)에 대해 INFERENCE.md를 참조합니다.
• 하드웨어 – 사전 인코딩된 T5 인코더를 사용한 추론에는 >24 GB VRAM(RTX 5090)이 필요합니다. 사전 인코딩 없이 전체 추론 또는 훈련에는 40-80 GB GPU(A100/H100/B200)가 필요합니다.

체크포인트 – 사전 훈련된 체크포인트는 Hugging Face에서 호스팅됩니다.

• Motus_Wan2_2_5B_pretrain – VGM 백본만.
• Motus – 잠재 액션 사전 훈련 후 전체 모델(2단계).
• Motus_robotwin2 – RoboTwin 2.0 작업에서 미세 조정(3단계).

README에는 huggingface-cli를 사용하여 다운로드하는 짧은 스크립트가 포함되어 있으며 구성 파일을 로컬 경로로 지정하는 방법을 보여줍니다.

성능 – RoboTwin 2.0 벤치마크(작업당 50개의 깨끗한 에피소드 + 500개의 무작위 에피소드, 50개 작업 통합)에서 Motus는 87.02% 평균 성공률을 달성하며, 저자들은 X-VLA보다 +15%, π₀.₅보다 +45% 우수하다고 주장합니다.

시작 방법

1. 저장소를 클론하고 conda 환경을 만듭니다(Python 3.10).
2. PyTorch 2.7.1(CUDA 12.8) 및 빠른 어텐션을 위한 flash-attn을 설치합니다.
3. Hugging Face에서 원하는 체크포인트를 가져옵니다.
4. RoboTwin에서 빠른 테스트를 위해 INFERENCE.md를 따르거나 전체 3단계 훈련을 위해 TRAINING.md를 따르세요.

사용 대상 – 로봇 지각-행동 루프를 위한 통합 모델을 탐구하는 연구자, 비디오 예측 생성과 로봇 관절 명령 출력을 모두 할 수 있는 기준선이 필요한 개발자, 그리고 대규모 비전-언어 기반 위에 구축된 잠재 액션 표현 실험에 관심이 있는 모든 사람.

인용 – 저자는 arXiv 사전 인쇄본(arXiv:2512.13030)에 대한 복사 가능한 BibTeX 항목을 제공합니다.