blendi-remade/prompt2rig

它解决的问题

创建 3D 角色动画通常需要动作捕捉设备、手动关键帧设置，或搜索大型动作库。prompt2rig 消除了这些障碍：你输入动作描述，视频模型生成某人执行该动作的片段，你的 GPU 从该片段中恢复干净的 3D 身体和手部动作。结果在浏览器中实时显示在 Mixamo 角色上，并可导出到 Blender 或 Unity。它还通过使用整体片段模型（GVHMR）在固定比例身体上输出关节旋转，解决了常见的姿态估计问题，如抖动、肢体拉伸或前臂扭曲。

工作原理

1. 提示到视频 – 你输入提示（或选择预设）。fal 上的快速视频模型（质量优先用 FLUX 3 Max，速度优先用 H3 Max Turbo）生成表演者执行动作的短片段。每个片段都从相同的生成表演者图像开始，姿态估计更偏好这种图像。
2. 实时预览 – 在生成片段的同时，MediaPipe Pose 在浏览器中运行，并逐帧将姿态重定向到 Mixamo 骨架，提供即时粗略预览，覆盖等待时间。
3. 高质量动作处理 – 在你的本地 GPU 上，GVHMR 一次性处理整个片段，输出 SMPL 身体旋转和重力感知的根路径。同时，WiLoR 估计每只手的掌心及全部 15 个手指关节（如果你不提供 MANO 手模型，则回退到 MediaPipe Hands）。此过程在 RTX 4090 上处理 5 秒片段约需 3.5–4 秒。
4. 重定向和导出 – 动作被重定向到任何 Mixamo 角色（X Bot、Michelle、Soldier 或你自己的 .fbx/.glb）。你可以在流模式下串联片段、切换角色，并将带动画的蒙皮角色导出为 .glb 文件。

适用人群

• 动画师和游戏开发者：希望从文本提示快速获得动作创意，无需手动绑定。
• Blender 或 Unity 用户：需要从文本到动画角色的快速流程。
• 创作者：探索 AI 辅助动画；该工具已在 Windows 11 和 NVIDIA GPU 上测试。
• 爱好者：熟悉 Node.js 和 Python，希望运行本地动作工作器。

亮点

• 纯提示工作流 – 无需动作捕捉设备或手动关键帧；只需描述动作。
• 整体片段动作恢复 – GVHMR 查看整个片段，避免抖动和肢体伪影，并恢复重力感知的根路径。
• 包含手指追踪 – WiLoR 为每只手添加掌心及全部 15 个手指关节，并在未检测到手时提供自然卷曲回退。
• 生成期间实时预览 – 浏览器中的 MediaPipe 在计算高质量动作时提供即时反馈。
• Mixamo 兼容性 – 适用于任何 Mixamo 骨架（T-pose），并导出适合 Blender 或 Unity 的蒙皮 .glb 文件。
• 流模式 – 将片段串联成连续表演；每个片段从上一帧继续。
• 快速且优化 – 高质量工作器针对单人生成片段进行了调优（RTX 4090 上每个片段 10 秒 → 3.4 秒）。
• 额外功能 – 无头 Blender 渲染、离屏捕获工具和手姿态测试台。
• 许可证警告 – Web 应用和实时预览为 Apache-2.0，但高质量动作路径（GVHMR、SMPL-X、WiLoR、MANO）为研究/非商业用途；商业产品必须替换或获得这些组件的许可。