shitagaki-lab/see-through

解決する課題

See-throughは、静止した2Dアニメイラストを操作可能な2.5Dモデルに変換するプロセスを自動化します。アニメーションやリギングに通常必要とされる、キャラクターを異なるパーツに分割し、それらのパーツの背後にある隠れた領域をインペイントするという退屈な手作業を解決します。

仕組み

このフレームワークは、単一の画像を、推論された描画順序を持つ、意味的に明確に異なる最大23の完全なインペイント済みレイヤー（髪、目、衣服など）に分解します。これは、以下のパイプラインを組み合わせることで実現されます：

• LayerDiff 3D: 透明なレイヤーを生成するための拡散ベースのモデル (SDXL)
• Marigold Depth: レイヤーの順序を決定するための、アニメに特化して微調整された深度推定モデル
• SAM Body Parsing: 特定の身体部位を特定するためのセマンティックセグメンテーションモデル

最終的な出力は、アニメーションまたはリギングツールにインポート可能なレイヤー化されたPSDファイルです。

対象者

このツールは、リギングやアニメーションのためのキャラクターアセットの準備を加速させたいアニメーター、2.5Dアニメーター、およびVTuberクリエイター向けに設計されています。

ハイライト

• 高い粒度: キャラクターを最大23の異なる意味的レイヤーに分解します。
• 自動インペイント: 遮蔽された領域を補完するため、レイヤーを移動させても完全な状態を維持します。
• PSDエクスポート: プロフェッショナルなデザインソフトウェアと互換性のある標準的なレイヤー化ファイルを出力します。
• VRAMの最適化: NF4量子化とグループオフロードを含み、8GBのVRAMを持つGPUでも動作するようにサポートしています。
• 研究に裏打ちされた技術: ACM SIGGRAPH 2026にて発表。