shitagaki-lab/see-through

解决的问题

See-through 实现了将静态 2D 动漫插画转换为可操作 2.5D 模型的流程自动化。它解决了在动画或绑定过程中通常需要进行的繁琐手动工作，即将角色分割成不同的部分并对这些部分背后的隐藏区域进行图像修补（inpainting）。

工作原理

该框架将单张图像分解为最多 23 个语义不同且完全修补的图层（如头发、眼睛和衣物），并带有推断的绘制顺序。它是通过结合以下流程实现的：

• LayerDiff 3D: 用于生成透明图层的基于扩散的模型 (SDXL)
• Marigold Depth: 专门为动漫微调的深度估计模型，用于确定图层顺序
• SAM Body Parsing: 用于识别特定身体部位的语义分割模型

最终输出是一个可以导入动画或绑定工具的分层 PSD 文件。

适用对象

该工具专为希望加速角色资产准备工作以进行绑定和动画的动漫艺术家、2.5D 动画师和 VTuber 创作者设计。

亮点

• 高粒度: 将角色分解为多达 23 个不同的语义图层。
• 自动图像修补: 填充遮挡区域，使图层即使在移动时也是完整的。
• PSD 导出: 输出与专业设计软件兼容的标准分层文件。
• VRAM 优化: 包含 NF4 量化和组卸载（group offloading），支持显存低至 8GB 的 GPU。
• 研究支持: 发表在 ACM SIGGRAPH 2026 上。