patch-gg/anymove
Motion capture for any creature from one AI video: two cameras in one frame, a DINOv2 joint reader, the rig fitted in both views, a GLB out.
解决的问题
AnyMove 通过将单个 AI 生成的视频转换为完全关节化的三维动画,解决了复杂绑定三维生物动画制作的难题。它采用双摄像头视频方法在三维空间中跟踪关节运动,无需手动逐帧编辑。
工作原理
该过程在单个视频帧中使用双摄像头设置——一个正面视角和一个侧面视角。一个自定义训练的“关节读取器”识别两个视角中生物的关节。由于每个关节在两个摄像头角度中处于相同高度,系统可计算出每个关节的精确三维位置。然后,这些数据用于将生物的数字骨骼弯曲到每一帧的正确姿势,最终导出为 GLB 文件。
适用人群
该工具面向三维艺术家、开发者和创作者,他们希望为自定义生物(如龙、蜘蛛或恶魔)制作动画,而无需传统动作捕捉硬件或大量手动关键帧设置。它专为熟悉 Python、Blender 以及使用基于云的 AI 生成服务的用户设计。
亮点
- 在不到一分钟内将一个 AI 生成的视频片段转换为三维动画。
- 支持具有翅膀、尾巴和多条腿的复杂生物。
- 使用基于 DINOv2 的视觉模型高精度跟踪关节。
- 提供模块化流程,包括网格准备、骨骼绑定和自动化动作捕捉。
- 包含“Agent Skills”,允许 AI 编码助手引导用户完成设置和故障排除过程。
相关
- 项目
- 项目
- 项目
- 项目