MaxLiu22/Motion2MixamoRig

Retarget human motion from video to an Adobe Mixamo-rigged 3D character.

解决的问题

Motion2MixamoRig 自动化了将视频中的人体动作或照片中的静态姿势转移到为 Adobe Mixamo 绑定的 3D 角色上的过程。它通过使用 AI 提取骨骼运动并将其重定向到标准的 3D 角色格式,消除了手动设置关键帧或复杂动作捕捉的繁琐工作。

工作原理

该项目使用命令行管道(或 Blender 扩展)来处理输入媒体。它首先使用推理模型(如 GVHMR)从视频或图像中提取 3D 人体运动数据。然后,它将此运动映射到提供的 Mixamo 绑定 FBX 文件的骨架上。最终输出是一个可直接在 Unity 等游戏引擎或 Blender 等 3D 软件中使用的蒙皮 .glb 文件,并附带显示结果的预览视频或图像。

适用人群

该工具专为游戏开发者、3D 动画师和数字艺术家设计,他们希望在无需专业动作捕捉硬件的情况下,快速将现实世界的人体运动应用到 3D 角色上。

亮点

  • 双重界面:既提供面向开发者的命令行工具,也提供面向非编程人员的易用 Blender 扩展。
  • 多功能输入:支持视频剪辑和静态照片,以生成 3D 角色动画。
  • 高效工作流:允许用户重复使用提取的骨骼运动数据(.npz 文件),无需重新运行繁重的推理步骤,即可快速将相同的运动应用到不同的角色模型上。
  • 即用型输出:生成与主流 3D 软件和游戏引擎兼容的标准 .glb 文件。

相关

  • 项目
  • 项目
  • 项目
  • 项目