ActionMesh – 将视频转换为动画 3D 网格

功能介绍

ActionMesh 是一个研究级模型，可以从短视频（16‑31 帧）创建完整的 3D 动画网格。它有两种运作方式：

1. Video → 4D – 仅提供视频，系统会构建一个与主体动作完全一致的新网格。
2. {Video + 3D} → 4D – 提供现有的静态网格（例如 .glb 文件），模型会将其动画化以遵循视频中的动作，同时保留原始拓扑和纹理。

输出可以是每帧的 .glb 文件序列、Blender 可导入的单一动画 .glb 文件，或是动画的渲染视频。

为什么它很重要

• 连接视觉与图形学 – 结合视频理解（通过 DINOv2、SAM2、背景移除）与 3D 扩散模型来合成几何与动作。
• 交互演示速度快 – 在 H100 GPU 上，默认运行时间约为 75 秒，使用“快速”标记可降至约 45 秒。
• 低内存选项 – 可在 Colab T4 (12 GB) 上使用 --low_ram 运行，让没有强大 GPU 的研究人员也能使用此技术。
• 开源基准测试 – 随附的 ActionBench 数据集（128 组视频 ↔ 动画点云对）让社区能够评估并比较未来的方法。

如何开始（快速入门）

# clone and install
git clone git@github.com:facebookresearch/actionmesh.git && cd actionmesh
git submodule update --init --recursive
pip install -r requirements.txt -e .

# simple video‑to‑mesh run (replace paths as needed)
python inference/video_to_animated_mesh.py \
    --input assets/examples/davis_camel \
    --blender_path /path/to/blender   # optional, for .glb export

若要使用更快的推理模式，请加上 --fast；若使用较低阶的 GPU（例如 Colab），请加上 --low_ram。

关键组件与依赖

组件	角色	安装 / 来源
PyTorch 2.4 / CUDA 12.1	核心深度学习框架
PyTorch3D	渲染动画网格（{video+3D} 模式与基准测试评估所需）
Blender 3.5.1	将每帧网格转换为单一动画 GLB
TripoSG	用作形状先验主干的图像转 3D 生成器
DINOv2‑large	提供强大帧特征的视觉编码器
RMBG‑1.4	无遮罩时的自动背景移除
Diffusers / Transformers	底层扩散与 Transformer 实现

输入要求

• 视频：.mp4 或 PNG 帧文件夹。
• 长度：16‑31 帧（多余帧会被忽略）。
• 遮罩为选填 – 若缺失，管线会执行 RMBG 来切除前景。为获得最佳效果，README 建议使用 SAM2 演示来制作干净的遮罩。

输出格式

输出	内容	用法
mesh_000.glb, mesh_001.glb, …	每个时间步一个网格 – 适用于自定义渲染管线
animated_mesh.glb	包含嵌入动画的单一文件 – 拖放至 Blender 3.5.1
rendered.mp4	使用 PyTorch3D 渲染的视频 – 快速视觉检查

基准测试与性能

硬件	模式	时间	质量说明
H100 GPU	默认	~75 s	最高质量
H100 GPU	--fast	~45 s	质量略微下降
Colab T4 (12 GB)	--low_ram + --fast	~1 min 30 s	适合原型制作

社区资源

• Hugging Face 演示 – 交互式网页 UI，位于 facebook/ActionMesh。
• Colab 笔记本 – 可直接运行的笔记本 (ActionMesh.ipynb)。
• ActionBench 数据集 – 托管于 Hugging Face (facebook/actionbench) 以供评估。

授权与引用

代码依据存储库中的 LICENSE 文件授权发布。若在研究中使用此方法，请引用 CVPR 2026 论文（完整 bibtex 位于 README 中）。

---

以上所有信息均直接取自存储库的 README；未添加任何外部推测。