NVlabs/nvdiffrec

해결하는 문제

다중 시점 이미지 관측에서 고품질의 삼각형 3D 모델(재질 및 조명 포함)을 추출할 수 있게 해줍니다. 이를 통해 장면의 위상 구조, 표면 외관, 조명 환경을 동시에 공동 최적화할 수 있습니다.

작동 방식

이 시스템은 미분 가능한 렌더링 파이프라인을 사용하여 3D 자산을 최적화합니다. NVIDIA의 Kaolin 라이브러리에서 차용한 미분 가능한 마칭 테트라헤드론을 활용하며, FlexiCubes와 같은 고급 등치면 추출 기법도 지원합니다. 자동 미분 과정을 단순화하기 위해, Slang의 자동 미분 기능을 활용하는 slangpy를 사용한 버전의 라이브러리도 제공됩니다. 수작업으로 만든 CUDA 확장 기능을 사용할 필요가 없습니다.

대상 사용자

고성능 NVIDIA GPU와 충분한 메모리를 갖춘 컴퓨터 비전 및 3D 그래픽스 분야의 연구자 및 개발자에게 적합합니다.

주요 특징

• 기하학(위상), 재질, 조명을 공동으로 최적화합니다.
• 표준 삼각형 3D 메시를 생성합니다.
• FlexiCubes를 지원하여 등치면 추출 품질을 향상시킵니다.
• 성능을 위해 nvdiffrast 및 tiny-cuda-nn과 통합됩니다.