Supra-3D/SUPRA-Tex

해결하는 문제

SUPRA-Tex는 단일 이미지에서 고품질의 사실적인 3D 자산을 생성하는 과제를 해결합니다. 표준 3D 생성에서 종종 손실되는 텍스트, 특정 패턴, 재질 경계와 같은 미세한 시각적 세부 사항을 보존하는 데 중점을 두면서, 결과 객체가 재조명 가능하도록 보장합니다.

작동 방식

이 시스템은 다단계 파이프라인을 사용합니다. 먼저, 입력 이미지의 참조 뷰에서 PBR(물리 기반 렌더링) 재질을 예측합니다. 그런 다음 이를 표면 정렬 3D 관측으로 인코딩합니다. "인터리브드 플로우 트랜스포머"를 사용하여 객체의 보이지 않는 영역을 채웁니다. 최종 출력은 베이스 컬러, 메탈릭, 러프니스 텍스처를 포함하는 GLB 파일로, 자산을 다양한 조명 조건에서 렌더링할 수 있습니다.

대상 사용자

이 도구는 3D 콘텐츠 제작, 자산 생성 또는 컴퓨터 비전 작업을 수행하는 연구자와 개발자를 위해 설계되었으며, 최소한의 입력 데이터로 고충실도 텍스처와 PBR 호환 3D 모델이 필요한 사람들을 대상으로 합니다.

주요 기능

• 베이스 컬러, 메탈릭, 러프니스 맵을 포함한 완전한 PBR 자산을 생성합니다.
• 표면 정렬 관측을 사용하여 문자와 패턴 같은 입력 이미지 세부 사항을 보존합니다.
• 엔드투엔드 이미지-3D 생성과 기존 메시의 텍스처링을 모두 지원합니다.
• 고복잡도 텍스처를 위한 선택적 리파인먼트 모드를 포함합니다.
• 객체의 보이지 않는 "뒷면" 모양을 개선하는 이중 뷰 텍스처링 워크플로우를 제공합니다.