mimic-video/mimic-video

mimic‑video: 일반화 가능한 로봇 제어를 위한 비디오 액션 모델

개요 – 대규모 사전 학습된 비디오 모델을 비디오 액션 모델(VAM)로 변환하는 연구 코드베이스입니다. 비디오 백본을 동결하고 잠재 특징에 작은 액션 디코더를 훈련함으로써, 시스템은 언어 조건부 로봇 정책을 학습하며 효율적으로 실행할 수 있습니다(액션 청크당 한 번의 비디오 순방향 패스). 저자들은 2B 파라미터 Cosmos‑Predict2 비디오 모델에서 이 접근 방식을 시연하고 Bridge 및 LIBERO 로봇 조작 스위트의 체크포인트를 릴리스합니다.

주요 구성 요소

• data_preprocessing – 원시 로봇 데모(Bridge, LIBERO)를 safetensors로 변환하고, T5 언어 임베딩 및 선택적 비디오 임베딩을 사전 계산하는 스크립트.
• model – 데이터 로더, 액션 디코더 아키텍처, 훈련 루프 및 추론 유틸리티. NVIDIA Cosmos‑Predict2 코드베이스를 기반으로 하며 torchrun을 사용하여 다중 노드/GPU 확장을 지원합니다.
• eval – SIMPLER‑Bridge 환경(인간 참여 변형 포함) 및 표준 LIBERO 벤치마크를 위한 평가 하네스.

시작 방법

1. UV 패키지 관리자를 설치하고 환경을 생성합니다(GPU에 맞는 CUDA extra 선택, 예: uv sync --extra cu126).
2. (선택 사항) hf auth login으로 로그인한 후 Hugging Face에서 릴리스된 체크포인트를 가져옵니다.
3. 훈련 섹션에 따라 비디오 모델을 미세 조정하거나 자체 데이터셋에서 액션 디코더를 사전 훈련합니다. 프로세스는 다음을 포함합니다:
   • 비디오 파일 및 해당 텍스트 지침 준비.
   • precompute_t5_embeddings.py(및 선택적으로 precompute_video_embeddings.py) 실행.
   • 제공된 YAML 구성 파일을 편집하여 데이터를 지정.
   • torchrun -m scripts.train …으로 훈련 시작.
4. 환경별 종속성(Vulkan, ManiSkill2 등)을 설치한 후 제공된 평가 스크립트(eval.sh 또는 eval_hil.sh)를 실행합니다.

일반적인 사용 사례 – 대규모 비디오 기반 모델을 보유하고 전체 비디오 네트워크를 재훈련하지 않고 언어 조건부 로봇 컨트롤러를 빠르게 얻고자 하는 연구자. 이 프레임워크를 통해 새로운 로봇 데이터셋을 플러그인하고, 동일한 비디오 백본을 재사용하며, 표준 조작 벤치마크에서 평가할 수 있습니다.

라이선스 – Apache 2.0.

인용 – 코드 또는 체크포인트를 사용하는 경우 arXiv 논문을 인용하세요:

@misc{pai2025mimicvideo,
  title={mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs},
  author={Jonas Pai and Liam Achenbach and Victoriano Montesinos and Benedek Forrai and Oier Mees and Elvis Nava},
  year={2025},
  eprint={2512.15692},
  archivePrefix={arXiv},
  primaryClass={cs.RO},
  url={https://arxiv.org/abs/2512.15692}
}