mimic-video/mimic-video

mimic‑video：用于通用机器人控制的视频动作模型

这是什么 – 一个研究代码库，将大型预训练视频模型转换为 视频动作模型（VAM）。通过冻结视频骨干网络并在其潜在特征上训练一个轻量级动作解码器，系统学习语言条件下的机器人策略，并可高效运行（每个动作块一次视频前向传播）。作者在 2B 参数的 Cosmos‑Predict2 视频模型上展示了该方法，并发布了 Bridge 和 LIBERO 机器人操作套件的检查点。

关键组件

• data_preprocessing – 将原始机器人演示（Bridge、LIBERO）转换为 safetensors 的脚本，预计算 T5 语言嵌入和可选的视频嵌入。
• model – 数据加载器、动作解码器架构、训练循环和推理工具。基于 NVIDIA Cosmos‑Predict2 代码库构建，并使用 torchrun 进行多节点/GPU 扩展。
• eval – 用于 SIMPLER‑Bridge 环境（包括人在环变体）和标准 LIBERO 基准的评估框架。

如何开始

1. 安装 UV 包管理器并创建环境（选择与 GPU 匹配的 CUDA 额外项，例如 uv sync --extra cu126）。
2. （可选）登录 Hugging Face（hf auth login）后拉取发布的检查点。
3. 按照训练部分，微调视频模型或在您自己的数据集上预训练动作解码器。过程包括：
   • 准备视频文件和匹配的文本指令。
   • 运行 precompute_t5_embeddings.py（以及可选的 precompute_video_embeddings.py）。
   • 编辑提供的 YAML 配置文件以指向您的数据。
   • 使用 torchrun -m scripts.train … 启动训练。
4. 安装环境特定依赖（Vulkan、ManiSkill2 等）后，运行提供的评估脚本（eval.sh 或 eval_hil.sh）。

典型用例 – 拥有大型视频基础模型并希望快速获得语言条件机器人控制器而无需重新训练整个视频网络的研究人员。该框架允许您插入新的机器人数据集，重用相同的视频骨干网络，并在标准操作基准上进行评估。

许可证 – Apache 2.0。

引用 – 如果您使用代码或检查点，请引用 arXiv 论文：

@misc{pai2025mimicvideo,
  title={mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs},
  author={Jonas Pai and Liam Achenbach and Victoriano Montesinos and Benedek Forrai and Oier Mees and Elvis Nava},
  year={2025},
  eprint={2512.15692},
  archivePrefix={arXiv},
  primaryClass={cs.RO},
  url={https://arxiv.org/abs/2512.15692}
}