LordLiang/DrawingSpinUp

DrawingSpinUp：从单一角色绘图进行 3D 动画制作

这是什么： 一个研究项目 (SIGGRAPH Asia 2024)，能将单一 2D 角色绘图转换为完整的 3D 动画版本，同时保留原始的手绘风格。

问题所在： 通常，将 2D 绘图制作成 3D 动画需要手动建立 3D 模型、添加纹理并进行骨架绑定。此项目仅需一张平面图像即可自动化整个流程。

运作方式（3 个主要步骤）：

1. 轮廓去除 — 系统首先使用神经网络（FFC-ResNet，借鉴自 LaMa inpainting 项目）去除绘图的深色轮廓，得到一个干净、仅含色彩的角色版本。

2. 3D 角色重建 — 清理后的图像被输入到多视角生成模型（基于 Wonder3D），该模型会推断角色在不同角度下的外观。这些视角随后被融合为一个带有纹理的 3D 网格（.obj 文件）。

3. 风格化动画 — 3D 角色会进行骨架绑定（使用 Mixamo，一个免费的自动绑定工具）并通过动作片段（例如跳跃、dabbing）进行动画制作。接着，系统会训练一个逐角色的风格转换模型，将原始绘图的手绘外观重新应用到渲染后的 3D 帧上，使最终动画看起来像是原始草图在移动，而非通用的 3D 模型。

关键技术说明：

• 风格转换器是针对每个角色进行训练的（在单一 GPU 上需几分钟），但一旦训练完成，即可应用于任何新的动画帧，无需重新训练。
• 需要单张 RTX 4090 或 2080 Ti GPU、Python 3.8、PyTorch 2.0、CUDA 11.8。
• 存储库包含一个示例（名为 ff7ab74a67a443e3bda61e69577f4e80 的角色），附带预先制作的绑定动画，让用户可以立即执行完整的端到端流程。
• 用户也可以提供自己的 512×512 角色绘图以及前景遮罩。

适用对象： 对 3D 重建、角色动画和风格迁移感兴趣的研究人员与爱好者。此代码为研究级别，需要具备一定的 Python、GPU 设置和命令行工作流程经验。

重要依赖项： LaMa (inpainting), Wonder3D (multi-view 3D reconstruction), Few-Shot-Patch-Based-Training (style transfer), Blender (for rendering frames), 以及 Mixamo (auto-rigging)。