shitagaki-lab/see-through

解決的問題

See-through 實現了將靜態 2D 動漫插畫轉換為可操作 2.5D 模型的流程自動化。它解決了在動畫或綁定過程中通常需要進行的繁瑣手動工作，即將角色分割成不同的部分並對這些部分背後的隱藏區域進行圖像修補（inpainting）。

工作原理

該框架將單張圖像分解為最多 23 個語義不同且完全修補的圖層（如頭髮、眼睛和衣物），並帶有推斷的繪製順序。它是透過結合以下流程實現的：

• LayerDiff 3D: 用於生成透明圖層的擴散模型 (SDXL)
• Marigold Depth: 專為動漫微調的深度估計模型，用於確定圖層順序
• SAM Body Parsing: 用於識別特定身體部位的語義分割模型

最終輸出是一個可以匯入動畫或綁定工具的分層 PSD 檔案。

適用對象

該工具專為希望加速角色資產準備工作以進行綁定與動畫的動漫藝術家、2.5D 動畫師及 VTuber 創作者設計。

亮點

• 高粒度: 將角色分解為多達 23 個不同的語義圖層。
• 自動圖像修補: 填充遮擋區域，使圖層即使在移動時也是完整的。
• PSD 輸出: 輸出與專業設計軟體相容的標準分層檔案。
• VRAM 優化: 包含 NF4 量化與群組卸載（group offloading），支援顯存低至 8GB 的 GPU。
• 研究支持: 发表於 ACM SIGGRAPH 2026。