shitagaki-lab/see-through

해결하는 문제

See-through는 정적인 2D 애니메이션 일러스트를 조작 가능한 2.5D 모델로 변환하는 프로세스를 자동화합니다. 애니메이션이나 리깅에 일반적으로 필요한 캐릭터를 다양한 부분으로 분할하고 해당 부분 뒤의 숨겨진 영역을 인페인팅하는 지루한 수동 작업을 해결합니다.

작동 방식

이 프레임워크는 단일 이미지를 추론된 드로잉 순서와 함께 의미적으로 구분되는 최대 23개의 완전한 인페인팅 레이어(머리카락, 눈, 의류 등)로 분해합니다. 이는 다음을 결합한 파이프라인을 사용하여 이를 달성합니다:

• LayerDiff 3D: 투명 레이어 생성을 위한 확산 기반 모델 (SDXL)
• Marigold Depth: 레이어 순서를 결정하기 위해 애니메이션에 맞게 미세 조정된 깊이 추정 모델
• SAM Body Parsing: 특정 신체 부위를 식별하기 위한 시맨틱 세그멘테이션 모델

최종 출력물은 애니메이션 또는 리깅 도구에 가져올 수 있는 레이어형 PSD 파일입니다.

대상 사용자

이 도구는 리깅 및 애니메이션을 위한 캐릭터 에셋 준비를 가속화하고자 하는 애니메이션 아티스트, 2.5D 애니메이터 및 VTuber 크리에이터를 위해 설계되었습니다.

주요 특징

• 높은 세분화: 캐릭터를 최대 23개의 별도 의미적 레이어로 분해합니다.
• 자동 인페인팅: 가려진 영역을 채워 레이어를 이동해도 완벽한 상태를 유지합니다.
• PSD 내보내기: 전문 디자인 소프트웨어와 호환되는 표준 레이어 파일을 출력합니다.
• VRAM 최적화: 8GB의 VRAM을 가진 GPU에서도 지원할 수 있도록 NF4 양자화 및 그룹 오프로딩을 포함합니다.
• 연구 기반: ACM SIGGRAPH 2026에 발표되었습니다.